들어가며 AI 에이전트를 개발하다 보면 항상 마주하는 질문들이 있습니다. “어디서 병목이 발생하고 있지?” “왜 이 에이전트가 예상과 다르게 동작하지?” “토큰 비용이 어디에 가장 많이 들고 있지?” 이러한 질문들에 답하기 위해서는 AI 에이전트의 내부 동작을 깊이 있게 관찰할 수 있어야 합니다. 하지만 현실은 어떨까요? 많은 개발팀들이 프로덕션 배포 직전, 혹은 배포 후 에야 모니터링의 필요성을 깨닫고 […] || 들어가며
AI 에이전트를 개발하다 보면 항상 마주하는 질문들이 있습니다.
“어디서 병목이 발생하고 있지?”
“왜 이 에이전트가 예상과 다르게 동작하지?”
“토큰 비용이 어디에 가장 많이 들고 있지?”
이러한 질문들에 답하기 위해서는 AI 에이전트의 내부 동작을 깊이 있게 관찰할 수 있어야 합니다. 하지만 현실은 어떨까요? 많은 개발팀들이 프로덕션 배포 직전, 혹은 배포 후 에야 모니터링의 필요성을 깨닫고 복잡한 observability 인프라를 급하게 구축하느라 고생합니다.
AWS Summit New York City 2025에서 발표된 Amazon Bedrock AgentCore Observability는 이러한 문제를 근본적으로 해결합니다. 개발 초기 단계부터 프로덕션 환경까지, 일관된 모니터링 경험을 제공하는 통합 솔루션입니다.
AgentCore Observability가 특별한 이유
1. 프레임워크에 구애받지 않는 표준화
AgentCore Observability의 가장 큰 강점은 OpenTelemetry 표준 기반으로 설계되었다는 점입니다. Strands, CrewAI, LangGraph 등 어떤 프레임워크를 사용하든, 어떤 LLM을 선택하든 동일한 방식으로 모니터링할 수 있습니다.
이는 단순히 편의성의 문제가 아닙니다. 여러 프레임워크를 실험하거나, 프로젝트마다 다른 기술 스택을 사용하는 조직에서는 각 프레임워크별로 별도의 모니터링 도구를 학습하고 유지보수해야 하는 부담이 사라집니다.
2. 즉시 사용 가능한 설계
복잡한 설정 없이 바로 시작할 수 있습니다. AgentCore Runtime에서 호스팅되는 에이전트의 경우, 단 4줄의 코드 추가만으로 완전한 observability를 확보할 수 있습니다.
from bedrock_agentcore_runtime import BedrockAgentCoreRuntime
runtime = BedrockAgentCoreRuntime()
response = runtime.invoke(
agent=your_agent,
runtime_session_id="session-123"
)
설정 파일도, 복잡한 계측 코드도 필요 없습니다. 세션 메트릭, 성능 데이터, 에러 추적, 모든 도구 호출 내역까지 자동으로 캡처됩니다.
3. 엔드투엔드 가시성
전통적인 모니터링 도구들이 놓치기 쉬운 영역들을 포괄합니다:
토큰 사용량: 각 LLM 호출마다 사용된 토큰 수를 추적하여 비용 최적화 가능
도구 선택 패턴: 에이전트가 어떤 순서로 어떤 도구를 선택하는지 분석
추론 과정: 각 결정 단계에서의 사고 과정 추적
레이턴시 분석: 워크플로우 전체에 걸친 엔드투엔드 지연시간 측정
구현 방법
AgentCore Observability는 두 가지 배포 시나리오를 지원합니다.
시나리오 1: AgentCore Runtime 호스팅
가장 빠르고 간단한 방법입니다. 기존 에이전트 코드에 Runtime SDK만 추가하면 됩니다.
사전 요구사항:
AWS 계정 및 Bedrock 모델 액세스 권한
CloudWatch Transaction Search 활성화 (최초 1회만)
OpenTelemetry 라이브러리 설치
pip install aws-opentelemetry-distro
구현:
from bedrock_agentcore_runtime import BedrockAgentCoreRuntime
from strands import Agent
# 에이전트 정의
agent = Agent(
name="TravelAgent",