코딩 업무에서 AI의 효율성은 AI 기업이 가장 자주 강조하는 대표적인 활용 사례다. “생산성 향상”, “코드 작성 시간 단축”과 같은 수사는 개발자들에게 AI 도구 사용을 유도하는 주요 근거로 활용돼 왔다. 하지만 실제 현장에서의 성과는 이러한 기대와 다를 수 있다는 점이 새롭게 발표된 연구를 통해 밝혀졌다.

모델 평가 및 위협 연구소(Model Evaluation and Threat Research, METR)의 최신 무작위 통제 실험(randomized controlled trial)은 숙련된 오픈소스 개발자들이 AI 도구를 사용할 때 오히려 효율이 떨어질 수 있음을 보여주며 AI 코딩 보조 도구의 한계를 짚었다. 특히 복잡하고 오래된 코드베이스를 다루는 실제 개발 환경에서는 AI의 도움이 제한적일 수 있다는 점이 강조된다.