- Published on
- 약 3분
개발자는 AI로 정말 빨라졌을까
- Authors
- Name
- 스타차일드
AI 코딩 도구를 쓰는 개발자에게 얼마나 빨라졌느냐고 물으면 대개 자신 있게 답한다. 두 배, 세 배라는 말도 흔하다. 그런데 그 느낌은 얼마나 정확할까. 2025년 7월, AI의 능력을 평가하는 비영리 연구소 METR이 이 질문에 무작위 실험으로 답을 내놓았다.
실험은 이렇게 짜였다
연구진은 대형 오픈소스 저장소에 오래 기여해 온 숙련 개발자 16명을 모았다. 저장소들은 평균 별 2만 2천 개, 코드 100만 줄이 넘는 큰 프로젝트였다. 개발자들은 실제로 처리해야 할 이슈 246개를 가져왔고, 연구진은 이슈마다 AI를 써도 되는지 안 되는지를 동전 던지듯 무작위로 정했다. 이슈 하나는 평균 두 시간쯤 걸리는 일이었다. AI를 쓸 수 있을 때 개발자들은 주로 커서(Cursor)와 당시 최신 모델이던 클로드 3.5, 3.7 소네트를 썼다.
작업을 시작하기 전, 개발자들은 AI가 자기를 24% 빠르게 해 줄 것이라고 예상했다. 결과는 정반대였다.
AI를 쓸 때 걸린 시간의 변화, 느낌과 측정
AI를 쓸 수 있었던 작업이 오히려 19% 더 오래 걸렸다. 더 놀라운 것은 그다음이다. 실험이 끝난 뒤에도 개발자들은 AI 덕분에 20% 빨라졌다고 믿었다. 몸으로 겪은 사람의 느낌과 시계가 잰 시간이 반대 방향을 가리킨 것이다.
왜 느낌은 틀렸을까
연구진은 여러 까닭을 짚었다. 이 개발자들은 자기 저장소를 속속들이 아는 사람들이었다. 사정을 모르는 AI가 내놓은 코드를 고치고 다듬는 데 드는 시간이, 직접 짜는 시간보다 길 때가 있었다. AI에게 설명하고, 기다리고, 결과를 검토하는 시간도 쌓였다.
느낌이 틀린 까닭도 짐작할 수 있다. AI를 쓰면 일이 덜 힘들게 느껴진다. 빈 화면 앞에서 머리를 쥐어짜는 대신 무언가가 계속 화면에 채워진다. 기다리는 동안 다른 창을 보기도 한다. 덜 힘든 것과 더 빠른 것은 다른데, 사람은 둘을 쉽게 헷갈린다.
연구진은 결과를 넓게 해석하지 말라고도 당부했다. 참가자가 16명뿐이고, 자기 저장소를 잘 아는 숙련자라는 특수한 조건이었다. 낯선 코드를 다루거나 경력이 짧은 개발자라면 결과가 다를 수 있고, 도구를 더 잘 쓰는 법을 익히면 달라질 수 있다고 했다.
반년 뒤, 실험이 어려워졌다
METR은 2025년 하반기에 더 나은 도구로 같은 실험을 다시 했고, 2026년 2월 24일 결과를 공개했다. 처음 실험에 참여했던 개발자 10명은 이번에 AI를 쓸 때 18% 빨라졌다. 새로 모은 개발자들은 4% 빨라졌다. 그러나 두 숫자 모두 오차 범위가 넓어서, 실제로는 느려졌을 가능성도 배제하지 못했다.
-18%
처음 참가자 10명의 작업 시간 변화
95% 신뢰 구간 -38%에서 +9%
-4%
새 참가자의 작업 시간 변화
95% 신뢰 구간 -15%에서 +9%
+19%
2025년 초 첫 실험의 결과
작업 시간이 늘었다
더 흥미로운 것은 연구진이 이 숫자를 믿지 말라고 한 이유다. 개발자들이 실험 참여를 꺼리기 시작했다. 작업의 절반을 AI 없이 해야 한다는 조건을 받아들이지 않으려는 사람이 늘었다. 참가자들은 AI 없이 하기 싫은 작업을 아예 실험에 가져오지 않기도 했다. AI가 가장 크게 도움이 되는 사람과 작업이 실험에서 빠져나간 셈이다. 연구진은 그래서 이 결과가 실제 효과를 낮춰 잡았을 가능성이 크고, 지금의 생산성 효과를 알려 주는 믿을 만한 신호가 아니라고 결론 내렸다. 다만 2026년 초의 개발자들이 2025년 초보다 더 빨라졌을 가능성은 높다고 보았다.
반년 사이에 AI 없이 일하는 것 자체가 실험 조건으로 받아들이기 힘든 일이 된 것이다. 이것도 일종의 측정 결과다.
내 생산성은 내가 잰다
이 연구가 개발자에게 남기는 교훈은 AI가 빠르다, 느리다가 아니다. 느낌만으로는 알 수 없다는 것이다. 다행히 내 일에 대해서는 작은 실험을 직접 해 볼 수 있다.
- 시간을 기록한다. 비슷한 크기의 작업을 AI와 함께 할 때와 혼자 할 때 시작과 끝을 적는다. 몇 주만 모아도 감과 다른 그림이 보인다.
- 끝난 시간까지 잰다. 코드가 화면에 나온 시간이 아니라, 검토하고 고쳐서 정말 합칠 수 있게 된 시간을 잰다.
- 작업 종류별로 나눈다. 낯선 라이브러리 익히기, 테스트 쓰기, 반복 작업에서는 크게 빨라지고, 잘 아는 코드의 미묘한 수정에서는 느려질 수 있다.
- 품질도 함께 본다. 빨라졌어도 되돌린 커밋과 나중에 나온 버그가 늘었다면 빠른 것이 아니다.
AI가 일을 덜 힘들게 만든 것은 분명하다. 그것만으로도 가치가 있다. 다만 덜 힘든 것과 더 빠른 것을 구분해 두면, 어디에 AI를 쓰고 어디서 직접 할지 더 잘 고를 수 있다.
참고한 자료
- Joel Becker, Nate Rush, Elizabeth Barnes, David Rein, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", METR (2025년 7월 10일)
- METR, 2025년 하반기 실험 결과 업데이트 (2026년 2월 24일)
이 글과 함께 보면 좋은 것
- 블로그바이브 코딩의 첫해2025년 2월, 안드레이 카파시는 코드가 있다는 사실조차 잊고 AI에 맡겨 버리는 코딩을 바이브 코딩이라 불렀다. 그해 11월 이 말은 콜린스 사전의 올해의 낱말이 되었다. 말로 프로그램을 만드는 시대의 첫해가 남긴 숫자를 따라가 보고, 맡기되 놓치지 않는 법을 정리한다.
- 블로그생각할 시간을 사는 AI오랫동안 AI를 똑똑하게 만드는 길은 더 큰 모델과 더 많은 데이터였다. 2024년 가을부터 다른 길이 열렸다. 답하기 전에 더 오래 생각하게 하는 것이다. 같은 수학 시험에서 12%를 맞히던 AI가 생각하는 법을 배우자 74%를 맞혔다. 추론 모델이 무엇이 다른지, 언제 써야 하고 언제 쓰지 말아야 하는지 정리한다.
- 가이드북AI 논문 읽는 법과 최신 연구 따라가기AI 엔지니어링 트랙
시리즈
AI와 일하는 법 (5/8)
AI가 어떻게 움직이고 어디서 틀리는지 공부하고, 일에 바르게 쓰는 법을 따져 보는 글
- 1바이브 코딩의 첫해
- 2AI는 왜 그럴듯하게 틀릴까
- 3AI에 손발을 다는 표준
- 4생각할 시간을 사는 AI
- 5개발자는 AI로 정말 빨라졌을까
- 6프롬프트에서 스킬로
- 7AI의 작업 기억
- 8AI 검색 시대에 글이 읽히는 법
함께 읽을 글
- 내비게이션 속의 상대성이론GPS 위성의 시계는 땅 위의 시계보다 하루에 38마이크로초 빨리 간다. 높이 떠 있어 중력이 약한 탓에 45마이크로초 빨라지고, 빠르게 날아가는 탓에 7마이크로초 느려진다. 이 차이를 고치지 않으면 위치가 하루에 11km 넘게 틀어진다. 아인슈타인의 두 이론이 휴대폰 지도 안에서 매일 하는 일을 따라가 본다.
- 마시멜로 실험 다시 보기마시멜로 하나를 15분 참은 아이들이 10년 뒤 더 높은 수능 점수를 받았다는 이야기는 자제력의 신화가 되었다. 그런데 900명이 넘는 아이로 다시 해 보니 효과는 절반으로 줄었고, 집안 형편을 고려하자 대부분 사라졌다. 약속을 지키지 않는 어른 앞에서 아이들은 3분 만에 마시멜로를 먹었다. 작은 표본과 숨은 변수가 만든 신화를 숫자로 다시 읽는다.
- 1만 시간이면 누구나 전문가가 될까하루 세 시간씩 10년을 하면 누구나 한 분야의 전문가가 된다는 1만 시간의 법칙은 1993년 베를린 음악 학교의 바이올린 연구에서 나왔다. 그런데 이 숫자는 최고 연주자들의 평균이었고, 연구자 본인도 넘어야 할 문턱이 아니라고 했다. 연습이 실력의 차이를 얼마나 설명하는지 따진 2014년의 대규모 분석과 함께 1만 시간의 진짜 쓸모를 살핀다.