안녕하세요 주간SaaS 입니다. 실제로 정말 많은 분들이 에이전트 기반은 애플리케이션을 만듭니다. 그저 동작하는 에이전트가 아니라 정말 임무를 믿고 맡길수 있는 신뢰할 수 있는 에이전트를 만드는 것은 한번의 commit 으로 끝나는것이 아니라는 점을 새삼 느낍니다. 오늘 소개하는 글은 정교한 LLM 평가 체계를 바탕으로 지속적으로 에이전트를 개선하는 좋은 사례를 담고 있습니다. 신뢰할수 있는 에이전틱 시스템을 목표로 하는 분들께 도움이 되면 좋겠습니다.
이 블로그 게시글은 Andrew McNamara, Ben Lafferty, Michael Garner가 ICML 2025에서 발표한 '프로덕션 레벨의 에이전틱 시스템 구축: 아키텍처, LLM 기반 평가, 그리고 GRPO 훈련' 강연을 기반으로 작성되었습니다.
Shopify에서는 판매자가 자연어 상호작용을 통해 스토어를 관리할 수 있도록 돕는 AI 기반 어시스턴트인 Sidekick을 개발해왔습니다. 고객 세그먼트 분석부터 상품 정보 양식 작성, 복잡한 관리자 인터페이스 탐색에 이르기까지, Sidekick은 간단한 툴 호출 시스템에서 정교한 에이전틱 플랫폼으로 발전했습니다. 이 과정에서 저희는 아키텍처 설계, 평가 방법론, 훈련 기술에 대해 귀중한 교훈을 얻었고, 이를 더 넓은 AI 엔지니어링 커뮤니티와 공유하고자 합니다.