티맵모빌리티는 2천만 명의 등록 사용자와 1,400만 명의 월간 활성 사용자를 보유한 대표 모빌리티 플랫폼으로, 수십 개의 AWS 계정에서 실시간 교통 정보 기반 내비게이션과 운전습관, 대리운전, 숏폼 등 다양한 모빌리티 서비스를 제공합니다. 실시간성이 중요한 서비스 특성 상 짧은 장애도 많은 사용자의 이동 경험에 영향을 줄 수 있기 때문에 장애가 발생하면 어느 서비스와 리소스에서 문제가 발생했는지, 영향 범위가 어디까지인지 신속하게 파악하는 초기 분류(Triage)가 중요합니다. 정확한 조사로 원인 후보를 좁혀 불필요한 확인을 줄이고 적절한 복구 조치를 선택해 평균 장애 복구 시간(MTTR: Mean Time To Recovery)을 단축할 수 있기 때문입니다.
DevOps 팀의 모든 클라우드 운영 및 장애 대응 업무는 사내 협업 플랫폼과 체계적인 IT 서비스 관리(ITSM) 시스템을 중심으로 유기적으로 연결되어 있습니다. AWS 권한 신청과 같은 운영 관련 요청은 Jira 티켓으로 접수해 처리하고, 장애가 발생하면 Datadog에서 감지한 알람을 Slack으로 전달받아 대응합니다. 담당자들은 알람이 올라온 Slack 스레드에서 상황과 조사 내용을 공유하며 후속 조치를 결정합니다. 팀은 이러한 워크플로우 안에서 단순 반복 운영 업무를 자동화하고 장애 대응 속도를 높이기 위한 사내 AI 에이전트 Rookie와 데이터베이스 분석을 전담하는 DB DOSA를 개발했습니다. 두 에이전트는 운영 효율성을 높이고 장애 초기 분석을 지원했지만, 장애의 원인 후보를 검증하고 실제 원인까지 추적하는 데에는 여전히 담당자의 추가 조사가 필요했습니다.
이 블로그에서는 티맵모빌리티가 기존의 운영 업무 워크플로우를 유지하면서 AWS DevOps Agent를 심층 조사에 연결한 과정과, 조사 정확도를 높이기 위해 적용한 방법을 실제 장애 사례와 함께 소개합니다.
Rookie로 시작한 AIOps, 그리고 남은 과제
티맵모빌리티 DevOps 팀은 추가 인프라 운영 부담을 줄이기 위해 기존 Amazon EKS 환경에 Rookie를 배포했습니다. Strands Agents 프레임워크로 에이전트를 구현하고 Amazon Bedrock을 통해 LLM을 연동했으며, Jira, Slack, CMDB(Configuration Management Database, 구성 관리 데이터베이스), CI/CD 등 사내 시스템은 MCP 서버로 연결했습니다.
Rookie는 AWS 계정 접근 권한 요청 또는 각 리소스 담당자를 조회하는 등의 요청이 Jira로 접수되면 담당자 승인 후 자동으로 처리했습니다. 데이터베이스 전문 에이전트 DB DOSA는 쿼리 검증과 스키마 변경 영향도 검토 등 DB 운영 업무를 지원했으며, DB 부하 분석 시간을 건당 10분에서 2분으로 단축했습니다. 운영 업무 자동화와 DB 부하 분석에서 절감한 운영 시간은 연간 약 209시간에 달하는 성과를 보였습니다.
팀은 이후 Rookie의 활용 범위를 AWS 리소스 상태와 이벤트, Datadog 메트릭과 로그를 활용한 알람 분석으로 넓혔습니다. 하지만 1차 분석을 빠르게 제공하는 것과 근본 원인을 규명하는 것은 별개의 문제였습니다. 에이전트의 응답 282건 중 68.4%에 추가 확인 요청이나 미확인 사항이 포함되어 있었습니다. 초기 정보 수집은 빨라졌지만, 근본 원인 후보를 검증하고 조사 범위를 좁히는 일은 여전히 담당자의 몫이었습니다.
이 간극을 자체 개발만으로 해결하려면 과거 장애 분석을 활용할 지식 베이스를 관리하고, 서비스별 예외와 새로운 알람 유형에 맞춰 프롬프트를 개선해야 했습니다. 또한 모델이나 프레임워크 버전을 업데이트할 때마다 분석 품질을 검증해야 하는 부담도 있었습니다.
팀은 이러한 이유로 Rookie의 역할을 계속 확장하는 대신, 기존 업무 자동화와 심층 조사를 분리하기로 했습니