|| SaaS 모니터링 도구인 Datadog을 떠나 LGTM(Loki, Grafana, Tempo, Mimir/Prometheus) 스택 기반의 자체 모니터링 환경을 구축하며 겪은 데이터엔지니어링팀의 시행착오와 비용 절감 기록입니다.시작하며: 우리에게 진짜 필요한 정보는 무엇일까?
많은 팀이 그렇듯, 저희 역시 서비스 초기부터 인프라와 애플리케이션 운영을 위해 Datadog(데이터독)을 사용해 왔습니다.
설치가 간단하고 대시보드와 알림 시스템이 훌륭하게 갖춰진 강력한 SaaS 도구였기에, 빠르게 모니터링 환경을 구축하는 데 큰 도움이 되었거든요.
데이터독_대체_LGTM_자체_모니터링_스택_구축_올라핀테크
하지만 서비스 규모가 커지면서 조금씩 고민이 고개를 들기 시작했습니다.
수집되는 로그의 양, 모니터링해야 하는 메트릭, 그리고 관리해야 하는 인프라 리소스가 늘어남에 따라 Datadog의 사용량 기반 청구서도 빠르게 무거워졌기 때문인데요.
어느 순간 월 약 1,500달러 수준의 비용이 발생하고 있더라고요.
물론 Datadog의 편의성을 생각하면 합리적인 비용일 수 있습니다.
하지만 내부적으로 근본적인 질문이 맴돌았습니다.
“우리는 정말 이 막대한 비용을 낼 만큼 Datadog의 수많은 기능을 온전히 활용하고 있을까?”
이 작은 의문이, 저희 팀이 모니터링 환경을 제로베이스에서 다시 고민하고 Datadog의 대안을 찾게 된 출발점이 되었습니다.
대안의 탐색: LGTM 스택의 발견
Datadog을 완전히 대체할 수 있는 방법을 찾기 위해 여러 옵션을 검토했습니다.
최근 관측 가능성(Observability) 분야에서는 오픈소스 기반의 모니터링 스택이 대세로 자리 잡고 있었고,
그중에서도 가장 널리 쓰이는 조합이 바로 Grafana 기반 스택이었습니다.
Grafana Labs에서는 모니터링의 핵심 요소들을 모아 이른바 ’LGTM 스택’을 제안하고 있는데요.
Loki: 로그 수집 및 조회
Grafana: 대시보드 및 시각화
Tempo: 분산 트레이싱
Mimir (또는 Prometheus): 메트릭 수집 및 저장
이 스택을 활용하면 로그, 메트릭, 트레이스를 하나의 환경에서 매끄럽게 관리할 수 있어요.
비록 Datadog처럼 클릭 몇 번으로 모든 것이 뚝딱 연동되는 완성형 SaaS는 아니지만,
우리 팀에 꼭 필요한 기능만 선택해 유연하게 구성할 수 있다는 점이 매력적으로 다가왔습니다.
우리가 선택한 모니터링 아키텍처
여러 조합을 치열하게 테스트한 끝에, 저희는 다음과 같은 흐름으로 자체 모니터링 파이프라인을 구축했습니다.
메트릭 수집: 애플리케이션에서 발생하는 메트릭은 OpenTelemetry를 통해 수집하여 Prometheus에 저장합니다.
로그 수집: 로그 데이터는 Loki를 활용해 수집합니다.
시각화: 수집된 모든 메트릭과 로그는 Grafana 대시보드를 통해 한눈에 파악할 수 있도록 구성했습니다.
알림 파이프라인: 특정 임계치를 넘거나 이상 조건이 만족될 경우, Alertmanager를 거쳐 Slack과 PagerDuty로 즉각적인 알림이 전송되도록 설정했습니다.
이 구조를 통해 과거 Datadog에서 유용하게 사용하던 대부분의 모니터링 기능을 오픈소스 생태계 안에서 충분히 구현해 낼 수 있었습니다.
모니터링_지표_기반_서버_리소스_최적화_비용_절감_올라핀테크시행착오: “직접 한다는 것”의 무게
물론 과정이 순탄치만은 않았습니다.
SaaS인 Datadog은 돈을 내면 대부분의 기능이 ‘이미 준비된 상태’로 제공되지만,
오픈소스 스택은 바닥부터 직접 다져야 했기 때문입니다.
Prometheus 설정 및 타겟 메트릭 수집 파이프라인 구성
Loki를 활용한 대용량 로그 수집 및 라우팅 구축
팀의 입맛에 맞는 Grafana 대시보드 UI/UX 설계
Alertmanager의 노이즈를 줄이는 정교한 알림 정책 설정
처음에는 Datadog처럼 ‘설치 즉시 완벽하게 동작하는’ 마법을 기대하기도 했어요.
하지만 하나하나 직접 설정하며 부딪히는 과정은 오히려 큰 성장이 되었습니다.
블랙박스 같았던 모니터