Published on
약 3분

개발자는 AI로 정말 빨라졌을까

Authors
  • Name
    스타차일드

AI 코딩 도구를 쓰는 개발자에게 얼마나 빨라졌느냐고 물으면 대개 자신 있게 답한다. 두 배, 세 배라는 말도 흔하다. 그런데 그 느낌은 얼마나 정확할까. 2025년 7월, AI의 능력을 평가하는 비영리 연구소 METR이 이 질문에 무작위 실험으로 답을 내놓았다.

실험은 이렇게 짜였다

연구진은 대형 오픈소스 저장소에 오래 기여해 온 숙련 개발자 16명을 모았다. 저장소들은 평균 별 2만 2천 개, 코드 100만 줄이 넘는 큰 프로젝트였다. 개발자들은 실제로 처리해야 할 이슈 246개를 가져왔고, 연구진은 이슈마다 AI를 써도 되는지 안 되는지를 동전 던지듯 무작위로 정했다. 이슈 하나는 평균 두 시간쯤 걸리는 일이었다. AI를 쓸 수 있을 때 개발자들은 주로 커서(Cursor)와 당시 최신 모델이던 클로드 3.5, 3.7 소네트를 썼다.

작업을 시작하기 전, 개발자들은 AI가 자기를 24% 빠르게 해 줄 것이라고 예상했다. 결과는 정반대였다.

AI를 쓸 때 걸린 시간의 변화, 느낌과 측정

시작 전 예상-24%
끝난 뒤 느낌-20%
실제로 잰 값19%
음수는 시간이 줄었다는(빨라졌다는) 뜻이다. 개발자들은 끝난 뒤에도 20% 빨라졌다고 믿었지만, 실제로는 작업 시간이 19% 늘었다. 자료: METR (2025).

AI를 쓸 수 있었던 작업이 오히려 19% 더 오래 걸렸다. 더 놀라운 것은 그다음이다. 실험이 끝난 뒤에도 개발자들은 AI 덕분에 20% 빨라졌다고 믿었다. 몸으로 겪은 사람의 느낌과 시계가 잰 시간이 반대 방향을 가리킨 것이다.

왜 느낌은 틀렸을까

연구진은 여러 까닭을 짚었다. 이 개발자들은 자기 저장소를 속속들이 아는 사람들이었다. 사정을 모르는 AI가 내놓은 코드를 고치고 다듬는 데 드는 시간이, 직접 짜는 시간보다 길 때가 있었다. AI에게 설명하고, 기다리고, 결과를 검토하는 시간도 쌓였다.

느낌이 틀린 까닭도 짐작할 수 있다. AI를 쓰면 일이 덜 힘들게 느껴진다. 빈 화면 앞에서 머리를 쥐어짜는 대신 무언가가 계속 화면에 채워진다. 기다리는 동안 다른 창을 보기도 한다. 덜 힘든 것과 더 빠른 것은 다른데, 사람은 둘을 쉽게 헷갈린다.

연구진은 결과를 넓게 해석하지 말라고도 당부했다. 참가자가 16명뿐이고, 자기 저장소를 잘 아는 숙련자라는 특수한 조건이었다. 낯선 코드를 다루거나 경력이 짧은 개발자라면 결과가 다를 수 있고, 도구를 더 잘 쓰는 법을 익히면 달라질 수 있다고 했다.

반년 뒤, 실험이 어려워졌다

METR은 2025년 하반기에 더 나은 도구로 같은 실험을 다시 했고, 2026년 2월 24일 결과를 공개했다. 처음 실험에 참여했던 개발자 10명은 이번에 AI를 쓸 때 18% 빨라졌다. 새로 모은 개발자들은 4% 빨라졌다. 그러나 두 숫자 모두 오차 범위가 넓어서, 실제로는 느려졌을 가능성도 배제하지 못했다.

-18%

처음 참가자 10명의 작업 시간 변화

95% 신뢰 구간 -38%에서 +9%

-4%

새 참가자의 작업 시간 변화

95% 신뢰 구간 -15%에서 +9%

+19%

2025년 초 첫 실험의 결과

작업 시간이 늘었다

더 흥미로운 것은 연구진이 이 숫자를 믿지 말라고 한 이유다. 개발자들이 실험 참여를 꺼리기 시작했다. 작업의 절반을 AI 없이 해야 한다는 조건을 받아들이지 않으려는 사람이 늘었다. 참가자들은 AI 없이 하기 싫은 작업을 아예 실험에 가져오지 않기도 했다. AI가 가장 크게 도움이 되는 사람과 작업이 실험에서 빠져나간 셈이다. 연구진은 그래서 이 결과가 실제 효과를 낮춰 잡았을 가능성이 크고, 지금의 생산성 효과를 알려 주는 믿을 만한 신호가 아니라고 결론 내렸다. 다만 2026년 초의 개발자들이 2025년 초보다 더 빨라졌을 가능성은 높다고 보았다.

반년 사이에 AI 없이 일하는 것 자체가 실험 조건으로 받아들이기 힘든 일이 된 것이다. 이것도 일종의 측정 결과다.

내 생산성은 내가 잰다

이 연구가 개발자에게 남기는 교훈은 AI가 빠르다, 느리다가 아니다. 느낌만으로는 알 수 없다는 것이다. 다행히 내 일에 대해서는 작은 실험을 직접 해 볼 수 있다.

  1. 시간을 기록한다. 비슷한 크기의 작업을 AI와 함께 할 때와 혼자 할 때 시작과 끝을 적는다. 몇 주만 모아도 감과 다른 그림이 보인다.
  2. 끝난 시간까지 잰다. 코드가 화면에 나온 시간이 아니라, 검토하고 고쳐서 정말 합칠 수 있게 된 시간을 잰다.
  3. 작업 종류별로 나눈다. 낯선 라이브러리 익히기, 테스트 쓰기, 반복 작업에서는 크게 빨라지고, 잘 아는 코드의 미묘한 수정에서는 느려질 수 있다.
  4. 품질도 함께 본다. 빨라졌어도 되돌린 커밋과 나중에 나온 버그가 늘었다면 빠른 것이 아니다.

AI가 일을 덜 힘들게 만든 것은 분명하다. 그것만으로도 가치가 있다. 다만 덜 힘든 것과 더 빠른 것을 구분해 두면, 어디에 AI를 쓰고 어디서 직접 할지 더 잘 고를 수 있다.

참고한 자료

  • Joel Becker, Nate Rush, Elizabeth Barnes, David Rein, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", METR (2025년 7월 10일)
  • METR, 2025년 하반기 실험 결과 업데이트 (2026년 2월 24일)

시리즈

AI와 일하는 법 (5/8)

AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글

  1. 1바이브 코딩의 첫해
  2. 2AI는 왜 그럴듯하게 틀릴까
  3. 3AI에 손발을 다는 표준
  4. 4생각할 시간을 사는 AI
  5. 5개발자는 AI로 정말 빨라졌을까
  6. 6프롬프트에서 스킬로
  7. 7AI의 작업 기억
  8. 8AI 검색 시대에 글이 읽히는 법

기술 라이브러리

혼자 공부한 것을 정리해 두는 개발자의 서재예요. 예제는 직접 돌려 보고 씁니다.

© 2026 기술 라이브러리