Amazon Bedrock부터 Claude Platform on AWS, 사내 오픈모델까지 하나의 엔드포인트로 연결해 통제는 강화하고 AI 사용은 멈추지 않도록 설계한 AWSome AI Gateway 기반 LLM Gateway 구축 여정
“문제는 모델이 아니라 통제입니다. 우리는 모든 LLM 호출을 한곳에서 관리하고 정책을 적용할 수 있도록 중앙 게이트웨이(Central Gateway)로 설계했습니다.”
1. 흩어진 LLM을 왜 하나로 모았을까?
전사 AX를 추진하면서 일부 개발자가 실험적으로 사용하던 LLM은 이제 전 임직원이 활용하는 핵심 업무 도구로 자리 잡았습니다. 변화의 속도는 빨랐지만, 조직 차원의 거버넌스는 그 속도를 따라가지 못했습니다. 누가 어떤 모델을 사용하고 있는지, 비용이 어디에서 얼마나 발생하는지, 어떤 데이터가 회사 밖으로 나가고 있는지 전사 차원에서 파악하고 통제하기 어려운 상황이었습니다.
이러한 가시성의 부재는 크게 두 가지 문제로 이어졌습니다. 첫 번째는 보안입니다. 다양한 프로바이더가 제공하는 모델 중 조직의 검토나 승인 없이 업무에 활용되는 모델이 있었고, 어떤 데이터와 프롬프트가 외부로 전달되는지 확인하고 통제하기 어려웠습니다.
두 번째는 비용입니다. 부서와 개인이 각자의 계정과 API키로 모델을 사용하면서 비용은 프로바이더별로 분산되어 청구되었고, 어느 부서가 어떤 모델에 얼마를 사용하고 있는지 통합적으로 파악하기 어려웠습니다.
이 문제를 해결하려면 개별 모델이나 사용자를 각각 관리하는 것이 아니라, 모든 LLM 호출을 하나의 지점으로 모을 필요가 있었습니다. 저희가 선택한 해결책은 전사 LLM Gateway를 구축하고, 조직에서 사용할 수 있는 모델에 접근하는 단일 엔드포인트를 제공하는 것이었습니다.
Amazon Bedrock의 모델, Claude Platform on AWS, 사내 On-premise 오픈모델을 단일 엔드포인트로 연결하고, 임직원은 LLM Gateway에서 조직이 승인·등록한 모델을 사용합니다. 모든 호출이 하나의 경로를 거치기 때문에 인증, 예산, 데이터 처리 및 기록 정책을 중앙에서 관리하고, 모든 모델에 일관된 기준을 적용할 수 있습니다. 저희는 이처럼 LLM 사용 경로를 하나로 통합하고 정책을 일관되게 적용하는 지점을 중앙 게이트웨이(Central Gateway)라고 정의했습니다.
그림 1. 흩어진 LLM 접근 경로를 중앙 게이트웨이로 통합한 구조
게이트웨이는 모든 요청을 인증 → 예산 확인 → 필요한 경우 모델 전환 → 호출량 제한 → 모델 호출 → 비용 기록의 순서로 처리합니다. 이를 통해 조직의 정책은 단순한 가이드라인에 머무르지 않고, 모든 LLM 요청에 일관되게 적용되는 실행 가능한 거버넌스로 동작합니다.
처리 단계
통제하는 것
조직에 주는 의미
인증 (VK 확인)
누가 호출하는지
사내 SSO 계정과 서비스 계정만 모델에 접근할 수 있음
예산 확인
얼마나 쓸 수 있는지
팀·개인 월 Credit 한도를 모든 모델에 동일하게 적용
모델 전환
한도 이후에 어떻게 이어가는지
차단 대신 사용자 Credit이 차감되지 않는 내부 운영 모델로 전환
호출량 제한
순간 부하를 어떻게 막는지
특정 사용자나 에이전트의 폭주가 전체 이용에 영향을 주지 않도록 제한
모델 호출
어느 경로로 나가는지
LLM Gateway에 승인·등록된 프로바이더의 모델만 제공
비용 기록
무엇이 일어났는지
사용자·모델별 비용과 토큰, 프롬프트 입력·출력까지 추적 가능
표 1. LLM Gateway 요청 흐름과 단계별 거버넌스 정책
그 결과 이제 모든 LLM 사용은 기록으로 남습니다. 누가 어떤 모델을 사용했는