1. 들어가며 사용자경험분석팀에서는 리서치 업무를 지원하는 사내 서비스인 리서치 AI 도우미를 만들고 있어요. “배민클럽을 선택한 이유는 무엇인가요?”처럼 수천 명이 자유롭게 답한 설문응답을 이해하기 쉬운 카테고리로 분류해 보고서를 만들고, 사용성 테스트(UT, usability test) 녹취록을 요약해 분석 리포트를 만드는 기능을 제공합니다. 리서치 설계부터 분석까지 리서처가 직접 하던 일을 LLM으로 돕는 서비스예요. 우리가 다루는 리서치 분석은 크게 두 […]
The post AI가 분석한 리서치 결과, 어떻게 만들고 전달할까요? first appeared on 우아한형제들 기술블로그. || 1. 들어가며
사용자경험분석팀에서는 리서치 업무를 지원하는 사내 서비스인 리서치 AI 도우미를 만들고 있어요.
“배민클럽을 선택한 이유는 무엇인가요?”처럼 수천 명이 자유롭게 답한 설문응답을 이해하기 쉬운 카테고리로 분류해 보고서를 만들고, 사용성 테스트(UT, usability test) 녹취록을 요약해 분석 리포트를 만드는 기능을 제공합니다. 리서치 설계부터 분석까지 리서처가 직접 하던 일을 LLM으로 돕는 서비스예요.
우리가 다루는 리서치 분석은 크게 두 가지 영역으로 나뉩니다.
설문조사 분석: 설문과 서베이를 진행해 대규모 정량 데이터와 주관식 응답을 수집하고, 전체적인 경향성을 파악합니다.
인터뷰·UT 분석: 인터뷰, 사용성 테스트(UT) 녹취록 등을 분석하여 사용자의 생생한 목소리와 심층적인 행동 맥락을 이해합니다.
리서치 AI 도우미는 이 두 가지 영역을 모두 지원합니다. 세부 기능은 여러 개지만 사용 흐름은 대체로 비슷해요. 리서처가 분석할 자료(설문 응답 엑셀, 인터뷰 녹취록 등)와 조사 목적을 입력한 후 분석을 요청하면, 서버의 LLM이 분석을 수행해 결과를 파일과 요약 데이터로 돌려줍니다.
설문조사 분석을 위한 데이터 입력
설문조사 분석 결과
그런데 막상 만들어보니 고민할 지점이 두 군데 있었어요.
첫 번째 문제는 결과를 만드는 쪽이었습니다. 처음엔 LLM에 원하는 결과를 그대로 요청하면 될 거라고 생각했는데 그렇지 않았어요. 기준이 일정하지 않으면 분석 품질이 매번 달라졌습니다.
두 번째 문제는 그 결과를 전달하는 쪽이었어요. 분석은 서버에서 LLM이 수행하니까 프론트엔드는 화면에 잘 보여주기만 하면 된다고 생각했는데, 분석 결과가 잘 나오는 것과 사용자가 그 결과를 잘 받아보는 것은 다른 문제였거든요.
그래서 이 글은 두 부분으로 나뉩니다. 먼저 LLM에게 문제를 어떻게 맡겼는지, 그 결과를 사용자에게 어떻게 전달했는지 정리했어요.
2. LLM에게 문제를 어떻게 맡길 것인가
LLM을 활용하면서 두 가지를 목표로 뒀어요.
원본 데이터를 가공하는 시간을 줄여, 리서처가 결과를 해석하는 일에 집중하게 하는 것
분석 원칙을 프롬프트에 담아, 누가 실행해도 일정 수준 이상의 결과가 나오게 하는 것
설문 주관식 분석이든 인터뷰·UT 분석이든, 결국 “많은 자료를 읽고, 기준을 세우고, 기준대로 정리한다”는 같은 구조예요. 그래서 그 일을 한 번에 맡기면 될 거라고 생각했는데, 막상 해보니 그렇지 않았습니다.
2.1. 문제를 단계로 나누기
리서치 AI 도우미에는 설문 주관식 응답을 분류하는 기능이 있어요. 리서처들이 코드화라고 부르는 작업으로, 수천 개의 자유 응답을 하나씩 읽고 핵심 의미를 담은 코드로 정의하는 일입니다.
“음식배달 앱으로 배민을 많이 사용하지만, 정기적으로 매월 지급하는 금액이 부담스러워서”
→ 멤버십 비용 부담
처음에는 응답을 그대로 넣고 “의미 있는 코드로 분류해줘”라고 요청했어요. 그런데 같은 이야기가 서로 다른 코드로 분류되는 문제가 계속 나왔습니다.
응답
분류 결과
“배달이 너무 늦어요”
배송 속도 불만
“배달 시간이 오래 걸려요”
시간 관련 이슈
사람이 보면 같은 이야기