“AI 프로젝트의 95%가 실패하는 이유는 모델이 아니라 데이터다” GenAI 프로젝트가 실패하는 원인은 대부분 모델 성능이 아니라 데이터의 준비 상태에 있습니다. MIT NANDA 보고서의 의하면 GenAI 파일럿의 95%가 AI-Ready Data 부재로 프로덕션에 도달하지 못했고, Gartner는 조직의 63%는 AI-Ready 데이터 관리 체계를 갖추지 못했다고 분석했습니다. 이러한 리서치가 보여주듯 AI-Ready Data가 준비되어 있지 않으면 기업의 AI 프로젝트는 성공하기 어렵습니다.
미래에셋증권의 PB(Private Banker)가 이런 질문을 했습니다. “A ETF의 보수율 및 벤치마크 인덱스를 알려줘”는 간단해 보이는 질문이지만, 답하려면 RDB 기반의 정형 데이터와 각종 문서 기반의 비정형 데이터를 함께 확인해야 합니다. 이 중 어느 하나라도 빠지면 답이 틀립니다. 그리고 당시에는 이 둘을 연결할 수 있는 시스템이 없었습니다.
미래에셋증권의 상품 정보는 크게 4개 영역(사내 시스템 DB, 외부 공시정보, 수작업 기반 내부 문서, 전문 리서치 자료)으로 나뉘어 관리되고 있었습니다. 이 영역들이 서로 연결되어 있지 않아 Cross-domain 검색이 불가능했습니다. ETF 시스템에서 펀드를 검색할 수 없고, 채권 시스템에서 관련 리서치를 불러올 수 없습니다. 각 시스템은 자신의 데이터만 알고 있을 뿐입니다. 가장 널리 쓰이던 검색 방식은 LIKE 검색, 즉 키워드 일치 방식이었습니다. “로봇”이라는 단어가 이름에 포함된 상품만 찾아줍니다. “휴머노이드”나 “자동화” 같은 유사 개념은 검색되지 않고, “삼성전자 자회사를 편입한 ETF”처럼 관계를 묻는 질문은 아예 불가능합니다.
현업 부서 직원들이 겪던 상품 검색의 불편함을 바탕으로, 목표로 한 검색 시나리오는 다음과 같습니다.
고객센터 A: “정확한 키워드를 입력하지 않으면 검색이 되지 않아요. 유사어나 카테고리로도 찾고 싶어요.”
목표: 의미 기반 검색, 유사어 질의
PB 직원 B: “투자대상, 보수율, 수익률을 한 번에 요약해서 보고 싶어요. 추천 사유도 함께 나오면 좋겠어요.”
목표: 관계 기반 요약, 근거 제시
마케팅팀 C: “여러 조건을 한 번에 검색할 수 없어 불편해요. 엑셀이나 BI가 아니라 대화하듯 검색하고 싶어요.”
목표: 자연어 질의, 복합 조건
상품관리 D: “오늘의 채권 추천 안내를 매일 보내는데 고객이 같은 질문을 반복해요. 대신 답해주는 시스템이면 좋겠어요.”
목표: 지식 기반 반복 질의 자동 응답
네 가지 요구는 모두 같은 Goal을 가리키고 있었습니다. 관계와 맥락을 아는 지식이 필요하며, 이를 쉽고 효율적으로 찾아볼 수 있는 AI 기반의 상품검색DB가 필요했습니다.
Target 아키텍처
위 요구사항을 해결하기 위한 지식 추출 과정과 구성에는 여러 사항이 고려되었습니다. 먼저 핵심 서비스인 Amazon Bedrock을 사용하려면 혁신금융서비스 심사와 등록이 필요했고, 이를 위한 보안 요건을 준수하여 심사를 준비했습니다. AWS Control Tower로 멀티 계정 환경을 구축하고, AWS Transit Gateway를 통해 온프레미스와 AWS 간 네트워크를 모두 Private로 구성하여 모든 서비스를 내부 네트워크로 연결했습니다.
[Figure-01] 데이터와 지식 저장소 매핑
위 그림은 실제 데이터와 지식 저장소 간의 매핑을 나타냅니다. 정형 데이터인 상품 기본정보는 DB와 Thin Graph에 저장되며, PDF 등 비정형 문서는 OCR 등의 인식 과정을 거쳐 Temporal Graph와 Vector 저장소에 적재됩니다. 자세한 내용은 아래에서 소개합니다.
[Figure-02] 전체 논리 아키텍처
계정 및 영역 구성
계정 / 영역
구성
AWS


