에이닷 QE팀은 LLM 품질 평가를 위해 SPeCTRA를 도입하고 이를 채팅플러스 PC버전의 신규 서비스 검증에 활용하였습니다. 자동화 도구인 Postman 및 SPeCTRA Judge 모델을 통해 응답 품질을 테스트하고 평가 효율성을 크게 향상시켰으며, Update 기능 테스트 자동화로 테스트 커버리지와 효율성을 추가적으로 높였습니다. 이 글은 LLM 품질 검증 방법 및 도구 활용에 대한 경험을 공유하며, LLM을 도입하려는 서비스 개발자들에게 도움이 되기를 기대합니다.