본 사례는 AWS 3A(Agentic AI Acceleration) 프로그램을 통해 고객과 진행하였습니다. 3A 프로그램은 생성형 AI 에이전트를 프로덕션에 적용하려는 고객을 대상으로, 아키텍처 리뷰와 참조 구현을 제공하는 AWS의 기술 지원 프로그램입니다.
들어가며
에스디바이오센서(SD Biosensor)는 체외진단(IVD)과 바이오센서 분야의 글로벌 기업으로, 진단 장비와 센서에서 생성되는 대규모 데이터를 다룹니다. 이러한 데이터를 담당자가 직접 쿼리를 작성하지 않고 자연어 질문만으로 조회하고 분석할 수 있다면, 데이터 활용의 진입 장벽이 크게 낮아집니다. 이 목표를 위해 대화형 데이터 분석 에이전트를 구축하는 과정에서, 초기 프로토타입은 몇 가지 공통적인 과제를 드러냈습니다. 같은 질문에도 실행 결과가 달라지는 재현성 문제, 여러 에이전트가 컨텍스트를 주고받는 과정에서 발생하는 지연과 비용, 그리고 운영 중 문제가 발생했을 때 원인을 추적하기 어려운 관측성 부족이 대표적입니다.
이러한 과제는 특정 도메인에 국한된 것이 아니라, 대화형 에이전트를 실험 단계에서 프로덕션 단계로 옮길 때 대부분의 팀이 마주치는 공통 주제입니다. 프로토타입 환경에서는 유사한 답변을 생성하는 것으로 충분하지만, 프로덕션에서는 같은 질문에 같은 답을 주는 재현성, 예측 가능한 응답 시간과 비용, 그리고 문제가 생겼을 때 원인을 되짚을 수 있는 추적성이 함께 요구됩니다.
이 글에서는 AWS가 3A 프로그램을 통해 함께 정리한 아키텍처 개선 방향을 기술 관점에서 소개합니다. 특정 업무 로직이 아니라, 대화형 에이전트를 프로덕션 수준으로 끌어올릴 때 일반적으로 적용할 수 있는 설계 패턴에 초점을 맞춥니다. 핵심 실행 기반은 Amazon Bedrock AgentCore이며, 에이전트 로직은 Strands Agents SDK로 구성하였습니다.
전체 아키텍처 개요
먼저 전체 구성을 조망하면 다음과 같습니다. 사용자의 자연어 질의는 AgentCore Runtime에서 실행되는 단일 에이전트로 전달되고, 에이전트는 버전이 고정된 도구 카탈로그를 호출해 데이터를 조회하고 계산합니다. 데이터 저장소와 기반 모델, 그리고 각종 AWS API 호출은 모두 Amazon VPC의 프라이빗 경로를 통해 이루어지며, 실행 흐름은 표준 관측성 계층으로 수집됩니다.
그림 1. 전체 시스템 아키텍처. 단일 에이전트가 AgentCore Runtime에서 실행되고, VPC 엔드포인트를 통해 기반 모델과 데이터 저장소에 프라이빗 경로로 접근하며, 실행 트레이스는 관측성 계층으로 전달된다.
이어지는 절에서는 이 구성을 이루는 개별 설계 결정을, 그 결정이 어떤 문제를 풀기 위한 것이었는지와 함께 하나씩 살펴봅니다.
멀티 에이전트에서 싱글 에이전트로
초기 구조는 오케스트레이터가 요청을 분류해 여러 하위 에이전트(사용자 응대 에이전트, 관리자 에이전트, 코드 실행 에이전트)로 분배하는 멀티 에이전트 형태였습니다. 멀티 에이전트는 역할 분리가 명확하고 각 에이전트의 프롬프트를 독립적으로 관리할 수 있다는 장점이 있지만, 데이터 조회와 수치 계산이 중심인 워크로드에서는 그 장점이 잘 발휘되지 않습니다. 에이전트 사이를 오가며 컨텍스트를 전달할 때마다 추가적인 모델 호출이 발생해 지연과 토큰 비용이 늘어나고, 각 단계에서 대규모 언어 모델(LLM)이 자유롭게 판단하는 지점이 많아질수록 동일 입력에 대한 결과 편차가 발생합니다. 하나의 요청을 처리하기 위해 오케스트레이터가 하위 에이전트를 호출하고, 그 하위 에이전트가 다시 오케스트레이터에 컨텍스트를 넘기는 왕복이 반복되면, 응답 경로가 길어지고 어느 단계에서 값이 달라졌는지 추적하기도 어려워집니다.
개선의 방향은 구조를 단일 에이전트로 단순화하고, 결정론이 필요한 작업을 모델에서 코드로 옮기는 것이었습니다. 단일 에이전트는 버전이 고정된 도