들어가며 이전 글(Part 2)에서는 Amazon Bedrock AgentCore의 Runtime, Gateway, Identity를 활용하여 MCP Registry를 구현하는 방법을 다루었습니다. 다양한 형태의 MCP를 등록하고, AgentCore Gateway를 통해 단일 엔드포인트로 통합하는 아키텍처를 소개했습니다. MCP Registry를 통해 Agent가 Tool을 호출할 수 있는 환경은 갖추었지만, 기업 환경에서 실제 운영하기 위해서는 추가적인 질문에 답해야 합니다. “이 사용자가 이 Tool을 호출할 권한이 있는가?” → […] || 들어가며
이전 글(Part 2)에서는 Amazon Bedrock AgentCore의 Runtime, Gateway, Identity를 활용하여 MCP Registry를 구현하는 방법을 다루었습니다. 다양한 형태의 MCP를 등록하고, AgentCore Gateway를 통해 단일 엔드포인트로 통합하는 아키텍처를 소개했습니다. MCP Registry를 통해 Agent가 Tool을 호출할 수 있는 환경은 갖추었지만, 기업 환경에서 실제 운영하기 위해서는 추가적인 질문에 답해야 합니다.
“이 사용자가 이 Tool을 호출할 권한이 있는가?” → Policy
“Agent가 Tool을 적절하게 사용하고 있는가?” → Evaluation
“호출 과정에서 무슨 일이 벌어지고 있는가?” → Observability
이번 글에서는 Amazon Bedrock AgentCore의 Policy, Evaluation, Observability를 활용하여 기업 수준의 운영 체계를 구축하는 방법을 다룹니다. Policy로 Tool 호출 권한을 제어하고, Evaluation으로 Agent 응답 품질을 평가하며, Observability로 전체 워크플로우를 추적합니다. 이 세 축이 결합되면 AI Agent 플랫폼의 보안, 품질, 가시성이 완성됩니다.
아키텍처 개요
AgentCore는 Agent의 기업 운영을 위해 세 가지 서비스를 제공합니다. 각각 요청의 다른 시점에서 동작합니다.
서비스
계층
역할
핵심 기술
1
Policy
요청 시점 (사전 제어)
Tool 호출 권한을 결정적으로 허용/거부
Cedar 정책 언어 + Policy Engine
2
Evaluation
실행 이후 (사후 평가)
Agent 응답의 품질과 정확성 평가
13개 빌트인 평가자 + LLM-as-a-Judge
3
Observability
전 구간 (실시간 추적)
Agent 워크플로우의 트레이스, 메트릭, 로그 수집
ADOT + CloudWatch GenAI 대시보드
이 글에서는 각 서비스를 설명한 후, 마지막에 세 서비스를 결합하여 기업 운영 체계를 구성하는 방법을 종합합니다.
Policy: Cedar 기반의 결정적 접근 제어
AgentCore Policy란?
AI Agent는 사용자의 질문에 따라 어떤 Tool을 호출할지 자율적으로 판단합니다. 이 유연성은 강력하지만, Agent가 의도하지 않게 비즈니스 규칙을 위반하거나 권한 밖의 Tool을 호출할 수 있다는 보안 과제를 수반합니다.
AgentCore Policy는 이 문제를 코드 외부에서, 결정적으로 해결합니다. AWS의 오픈소스 정책 언어인 Cedar를 사용하여, Gateway를 통과하는 모든 Tool 호출을 자동으로 가로채고 평가합니다. Agent의 코드와 무관하게 일관된 정책이 적용되므로, Agent 구현이 어떻게 바뀌어도 보안 경계는 유지됩니다.
[그림 1. Policy Engine 생성 콘솔 화면 – Cedar 정책을 등록하고 Gateway에 연결하는 설정 화면]
Cedar 정책의 구조
Cedar 정책은 누가(Principal), 무엇을(Action), 어디에(Resource), 어떤 조건(Condition)에서 접근을 허용하거나 거부하는지를 선언적으로 정의합니다.
permit(
principal