AI 코딩 어시스턴트의 도입이 가속화되면서, 조직은 새로운 질문에 직면하고 있습니다. “우리 팀이 AI 도구를 얼마나 효과적으로 사용하고 있는가?” 세션당 비용은 합리적인지, 어떤 모델이 비용 대비 높은 생산성을 제공하는지, 도구 실행의 성공률은 어떤지 — 이러한 질문에 답하려면 체계적인 관측성(Observability) 플랫폼이 필요합니다. Claude Code는 Anthropic이 제공하는 터미널 기반 AI 코딩 에이전트입니다. Amazon Bedrock을 통해 Claude Code를 사용하는 […] ||
AI 코딩 어시스턴트의 도입이 가속화되면서, 조직은 새로운 질문에 직면하고 있습니다. “우리 팀이 AI 도구를 얼마나 효과적으로 사용하고 있는가?” 세션당 비용은 합리적인지, 어떤 모델이 비용 대비 높은 생산성을 제공하는지, 도구 실행의 성공률은 어떤지 — 이러한 질문에 답하려면 체계적인 관측성(Observability) 플랫폼이 필요합니다.
Claude Code는 Anthropic이 제공하는 터미널 기반 AI 코딩 에이전트입니다. Amazon Bedrock을 통해 Claude Code를 사용하는 경우, Amazon CloudWatch에서 모델 호출 로깅으로 API 호출 횟수나 토큰 사용량 등의 기본 모니터링이 가능합니다. 그러나 Claude Code는 OpenTelemetry(OTel) 프로토콜을 통해 세션, 비용, 도구 실행 결과, 코드 변경량 등 에이전트 수준의 풍부한 텔레메트리를 내보냅니다. OTel 기반 수집 파이프라인을 구성하면 CloudWatch 기본 모니터링만으로는 얻기 어려운 — 사용자별 비용 추적, 도구 성공률, 모델별 비용 효율 비교, 세션 패턴 분석 등 — 에이전트 행동에 대한 심층적인 관측성을 확보할 수 있습니다.
이 블로그에서는 AWS 관리형 서비스만으로 구성된 이중 파이프라인(Dual Pipeline) 아키텍처를 통해 Claude Code의 메트릭과 이벤트를 수집, 저장, 분석하는 Observability Platform을 구축하는 방법을 소개합니다.
이 블로그에서 다루는 내용
Claude Code가 OTel로 내보내는 8종 메트릭과 5종 이벤트의 활용
사용자별 비용 추적, 모델 효율 비교, 도구 성공률 분석 등 실제 운영 인사이트
AWS Distro for OpenTelemetry(ADOT), Amazon Managed Service for Prometheus (AMP), Amazon Athena, Amazon Managed Grafana를 조합한 이중 파이프라인 아키텍처의 설계와 구현
AI 코딩 에이전트에 Observability가 필요한 이유
Claude Code와 같은 AI 코딩 에이전트는 단순한 코드 자동 완성을 넘어, 파일 읽기/쓰기, 쉘 명령 실행, Git 커밋, PR 생성 등 에이전틱(agentic) 워크플로우를 수행합니다. 하나의 사용자 프롬프트가 수십 번의 AI 모델 API 호출과 도구 실행을 유발하므로, 기존 소프트웨어 모니터링과는 다른 관점의 관측성이 필요합니다.
조직이 답해야 할 핵심 질문
관점
질문
필요한 데이터
1
비용 관리
팀별/사용자별 AI 비용은 얼마인가?
모델별 토큰 사용량, 요청 단위 비용
2
생산성 측정
AI 도구가 실제 생산성에 기여하는가?
세션 시간, 코드 변경량, 커밋/PR 수
3
성능 모니터링
API 응답 시간은 적절한가?
레이턴시 p50/p90/p99, 캐시 히트율
4
도구 안정성
도구 실행 실패율이 높지 않은가?
도구별 성공률, 에러 메시지, 실행 시간
5
보안 감사
도구 실행이 적절히 승인되고 있는가?
자동/수동 승인 비율, 거부된 도구
Claude Code는 이러한 질문에 답하기 위해 8종의 메트릭과 5종의 이벤트를 OTel 프로토콜로 내보냅니다(2026년 3월 기준). 문제는 이 데이터를 어떻게 수집하고, 어디에 저장하며, 어떻게 시