들어가며 – 모든 질문을 같은 LLM으로 처리하는 게 맞을까?
KB증권은 ‘슈퍼 금융 에이전트’를 지향하며, 다양한 스킬(Skill)과 도구(Tool)를 자율적으로 선택하고 활용하는 사내 에이전틱 AI 서비스 ‘깨비AI’를 자체 구축해 운영하고 있습니다.
깨비AI는 KB증권 전 임직원을 위한 AI 어시스턴트입니다. 업무 지식 검색, 투자 분석, 문서 작성 및 검토, 계약서 법무검토 등 증권 업무 및 사내 업무에 특화된 다양한 서비스를 지원하고 있습니다.
깨비AI를 운영하면서 사용자 질의마다 요구되는 작업의 복잡도가 크게 다르다는 점을 확인했습니다. 단순한 정보 조회부터 여러 단계의 추론과 데이터 분석이 필요한 요청까지, 다양한 유형의 질의가 유입되고 있었습니다.
구분
단순 조회형 질의
복합 분석형 질의
질의 예시 #1
삼성전자 현재 주가 알려줘.
삼성전자와 SK하이닉스의 최근 4개 분기 실적을 비교하고, 실적 개선 속도가 더 빠른 회사를 분석해줘.
질의 예시 #2
PER이 뭐야?
최근 3년간 금리 변화와 코스피·증권업종 지수의 움직임을 비교하고, 금리 인하기에 상대적으로 유리했던 증권주를 찾아줘.
작업 특성
단순 정보 조회 및 개념 설명
복수 데이터 조회, 비교 분석 및 다단계 추론
요구 역량
상대적으로 낮은 추론 복잡도
상대적으로 높은 추론 복잡도
<표 1. 깨비AI에 유입되는 질의 유형별 작업 특성과 요구 역량 비교>
이처럼 서로 다른 수준의 작업을 요구하는 질의를 모두 동일한 LLM으로 처리하는 것이 최선일까요?
단순 조회형 질의는 비교적 적은 추론으로 답변할 수 있는 반면, 복합 분석형 질의는 여러 단계의 데이터 조회와 분석이 필요합니다. 모든 질의를 고성능 LLM으로 처리하면 불필요한 비용이 발생할 수 있고, 반대로 경량 LLM만 사용하면 복잡한 작업에서 응답 품질이 저하될 수 있습니다.
<표 2. Claude 모델별 지연 시간과 단가 비교 (출처: Anthropic Models Overview, 2026년 10월 기준)>
이에 KB증권은 작업의 복잡도에 따라 적절한 LLM을 선택하는 Tier-Routing 방식을 도입하고자 했습니다.
그러나 이를 구현하기 위해서는 두 가지 핵심 질문에 답해야 했습니다.
첫째, 무엇을 어려운 작업으로 판단할 것인가?
둘째, 어느 시점에 그 난이도를 판별할 것인가?
이 글에서는 KB증권이 Amazon Bedrock과 Amazon SageMaker AI 기반의 학습 환경을 활용해 깨비AI에 Tier-Routing을 도입한 과정을 공유합니다. 평가 결과, 평균 품질 점수 차이를 0.4점 이내로 유지하면서 토큰 사용량은 36%, 클라우드 모델 호출 비용은 16% 줄었고, 중간 난이도 요청의 응답 시간은 29% 단축되었습니다. 그 과정에서 마주한 문제와 해결 방법도 함께 소개합니다.
참고: 이 글에 등장하는 설계 규칙, 구체적 수치, 학습 규칙, 임계값 등은 비즈니스 기밀 보호를 위해 일반화된 예시로 대체되었습니다. 솔루션의 구조와 방법론은 실제 구현을 충실히 반영합니다.
문제 정의
깨비AI의 라우팅을 설계하면서 세 가지 질문에 답해야 했습니다.
무엇을 어려운 질의로 볼 것인가: 문장의 길이나 어휘가 아니라, 그 질의를 처리하는 데 필요한 추론과 Tool 사용량이 기준이 되어야 했습니다. (질문 1.)
어느 시점에 난이도를 판별할 것인가: 사용자 질의가 들어온 순간인지, 매 LLM 호출 직전인지에 따라 설계가 완전히 달라집니다. (질문 2.)
난이도마다 모델을 바꿀 것인가: 모델이 바뀌면 그동안 쌓인 프롬프트 캐시를 새 모델에서 다시 만들어야 하므로, 잦은 전환은 오히려 비용과 응답 시간을 늘립니다. 그래서 모델은