AI 에이전트로 제품을 만들며 26번의 관찰과 실험을 거친 뒤, 저는 AI의 코딩 역량이 이미 사람을 아득히 앞섰다는 인상을 받았습니다. 실험 전에는 AI가 어디까지 할 수 있는지 궁금했습니다. 실험을 마치고 나니 나는 그 역량을 끌어낼 만큼 제대로 일을 시키고 있는가, 그 결과를 무엇으로 검증할 것인가라는 질문이 남았습니다.
가장 인상적인 장면은 구현 전 계획을 검토할 때였습니다. AI는 자기 계획대로 짜면 어느 필드와 함수에 문제가 생길지 다섯 번 모두 정확히 짚었습니다. 그런데 다섯 번 모두 그 문제를 품은 계획을 냈습니다. 자기가 적은 문제를 피해 구현하라고 하자, 같은 모델이 기존 타입 구조부터 바꾸고 새 기능을 넣었습니다.
실제 프로젝트의 커밋을 분석한 관찰 10회와 같은 과제를 다른 조건으로 구현한 격리 실험 16회를 진행했습니다. 작업을 잘게 나누거나 리뷰를 더 자주 해도 코드 냄새는 계속 쌓였습니다. 반면 피해야 할 코드 냄새 24가지의 이름과 정의를 구현 지침에 넣자, 세 릴리즈 뒤 냄새 지표가 12.6에서 0.0~0.2로 낮아졌습니다. 더 어려운 두 과제에서도 냄새가 쌓이는 속도는 지침이 없을 때의 24%, 43%였습니다.
…


