이 블로그는 GS리테일과 AWS의 협업으로 작성되었습니다. 다양한 AI 서비스를 안전하게 활용하기 위한 단일 운영 플랫폼 구축 수백 개 팀 계정의 AI 호출을 하나의 관문에서 인증·비용·쿼터 단위로 통제할 수 있을까요? 생성형 AI는 이제 기업의 업무 환경에 빠르게 자리 잡고 있습니다. 개발자는 코드 작성을 위해 AI를 활용하고, 기획자는 문서 작성과 아이디어 발굴에 AI를 사용하며, 데이터 분석가는 AI를 […] ||
이 블로그는 GS리테일과 AWS의 협업으로 작성되었습니다.
다양한 AI 서비스를 안전하게 활용하기 위한 단일 운영 플랫폼 구축
수백 개 팀 계정의 AI 호출을 하나의 관문에서 인증·비용·쿼터 단위로 통제할 수 있을까요?
생성형 AI는 이제 기업의 업무 환경에 빠르게 자리 잡고 있습니다. 개발자는 코드 작성을 위해 AI를 활용하고, 기획자는 문서 작성과 아이디어 발굴에 AI를 사용하며, 데이터 분석가는 AI를 통해 인사이트를 도출합니다. 최근에는 AI Agent를 활용해 업무를 자동화하려는 시도도 빠르게 확산되고 있습니다.
하지만 기업이 여러 AI 서비스를 동시에 도입하기 시작하면 새로운 과제가 나타납니다. 조직 구성원들은 Claude Code, Claude Cowork, Codex 등 다양한 도구를 사용하고 싶어하고, 조직은 비용 추적과 보안 통제, 감사 로깅을 확보하고자 합니다. 도구가 하나 늘어날 때마다 별도의 관리 체계를 만드는 방식으로는 이 속도를 따라잡기 어렵습니다. 또한 동일한 AI 모델을 사용하더라도 조직마다 다른 API Key를 관리하거나, 사용량을 추적할 수 없는 환경에서는 운영과 거버넌스를 유지하기 어렵습니다.
특히 대규모 조직에서는 이러한 문제가 더욱 두드러집니다. AI 서비스를 빠르게 도입하는 것만큼이나 누가, 어떤 모델을, 어떤 목적으로 사용하고 있는지 관리할 수 있는 체계가 필요합니다. 생성형 AI의 활용이 조직 전반으로 확대될수록 AI를 안전하고 지속 가능하게 운영하기 위한 플랫폼의 중요성도 함께 커지고 있습니다.
그림 1. GS리테일 전사 AI Gateway의 주요 기능과 운영 구성 요소
GS리테일 클라우드인프라팀 역시 이러한 과제를 해결하기 위해 전사 AI 활용 환경을 재검토했습니다. 단순히 하나의 AI 서비스를 도입하는 것이 아니라, 다양한 AI 애플리케이션과 AI Agent가 공통으로 사용할 수 있는 전사 AI Gateway를 구축해 AI 호출을 하나의 관문으로 통합하고, 보안과 비용, 운영 정책을 일관되게 관리하는 구조를 설계했습니다.
이 사례의 특징은 Gateway 구축과 함께 실사용을 위한 운영 체계를 마련했다는 점입니다. 비개발 직군을 위한 설치 자동화, 예산 소진 시 자동 모델 다운그레이드, 조직도 동기화, 자체 가드레일과 관측 파이프라인, 리더를 위한 관리자 대시보드까지, 실제 사용자가 늘어나면서 필요해진 기능을 추가해가며 운영 성숙도를 높였습니다.
이 글에서는 그 구축 배경과 아키텍처, 주요 설계 원칙, 실제 운영 과정에서 확보한 AI 거버넌스 경험을 포함해 Gateway를 AI 활용 공통 인프라로 확장해나가는 여정을 소개합니다.
목차
GS리테일 클라우드인프라팀과 AI Gateway 도입 배경
Claude on Amazon Bedrock + AI Gateway 구조를 선택한 이유
AI Gateway 아키텍처
Virtual Key 기반 중앙 인증 구조
크로스 계정 라우팅: 비용도 쿼터도 팀 단위로 가른다
결론
다음 이야기
GS리테일 클라우드인프라팀과 AI Gateway 도입 배경
GS리테일은 편의점 GS25, 슈퍼마켓 GS THE FRESH, O4O 플랫폼 우리동네GS, 홈쇼핑·이커머스 GS SHOP을 운영하는 대한민국 대표 유통기업입니다. 매일 수천만 명이 이용하는 이 서비스가 끊김 없이 돌아가는 뒤에는 클라우드인프라팀이 있습니다. 24/7 모니터링과 장애 대응을 넘어, 전사 클라우드 아키텍처 표준과 보안·비용 거버넌스, 계정·네트워크 설계까지 각 사업 조직이 안정적으로 서비스를 운영할 수 있는 공통 플랫폼을 책임