동적인 추천 경험을 제공할 수 있도록
The post 리디 추천 시스템, MLOps Platform에 올라탈 결심 appeared first on 리디주식회사 RIDI Corporation.
||
안녕하세요, 리디의 데이터 엔지니어링 파트장 오혜성입니다. 웹툰·웹소설 독자에게 볼 만한 작품을 골라주는 리디의 추천 시스템은 꾸준히 발전하며 비즈니스 기여도를 높여나가고 있습니다.
오늘은 이 과정에서 겪은 문제 해결 경험과 앞으로의 방향성을 여러분께 공유하고자 합니다. 본론에 들어가기에 앞서 리디 추천 시스템의 발전 과정을 간략히 소개하겠습니다.
리디 추천 시스템은
어떻게 발전했나
2022년 리디는 더 나은 품질의 추천 서비스를 제공하고자 추천 시스템을 딥러닝 기반으로 전환했습니다. 기존의 탄탄한 데이터 파이프라인 위에서 필요한 기능을 추가 구현하는 방식으로 접근하여 단기간에 목표를 달성할 수 있었습니다.
2023년에는 딥러닝 기반 추천 시스템을 더 다양한 추천 도메인으로 확장하기 위해 Feature Store를 구축했습니다. 이를 통해 필수적인 비즈니스 및 전처리 로직의 일관된 적용으로 데이터 품질이 향상되었고, 다양한 도메인을 대상으로 한 신규 모델의 빠른 릴리스가 가능해졌습니다.
그 후, 리디 추천 시스템은 운영 상의 이슈와 맞물려 더 높은 수준을 충족해야 할 필요를 맞닥뜨렸습니다. 그러기 위해서는 재정비가 필요하다고 느껴 다음의 목표와 세부 과업을 설정했습니다.
목표: 고객이 접하는 거의 모든 제품 탐색 경로에서 개인화된 동적 추천 경험 제공
개발 도구 간소화로 비용 절감
모델 버전 관리 및 가시성 확보
학습과 추론의 분리 및 롤백 자동화
실시간 추론 도입
먼저 목표를 실현하는 데 도움이 될 만한 도구들을 탐색했습니다. 그중 관리형 MLOps 플랫폼인 AWS SageMaker가 우리의 모든 요구사항을 충족할 수 있다고 판단하여, 개념 증명(PoC) 후 도입을 시작했습니다. SageMaker가 구체적으로 어떤 문제를 해결해 주었는지 사례를 통해 소개하겠습니다.
Managed MLOps Platform에 올라타기
첫째, 개발 도구 간소화로 비용 절감
팀의 한정된 개발 리소스로 더 넓은 범위의 업무를 효율적으로 수행하려면 우선순위가 낮은 업무를 줄이는 것이 급선무라고 판단했습니다. 우선, 모델 개발 사이클의 4단계에서 각각 사용 중인 도구들은 다음과 같습니다.
단위 테스트 작성 – absl, bazel
모델별 설정 작성 – gin-config
실험(미세 조정 포함): 학습 및 추론 작업 실행
도커 이미지 배포 – bazel, ECR
학습 및 추론 실행 – bazel, EKS
GPU 인스턴스 프로비저닝 – Karpenter, Bottlerocket
GPU 할당 – Nvidia device plugin, Nvidia Container Toolkit
모니터링 및 디버깅 – Kibana, K9s, Datadog
이중 특히 3번 실험 단계의 개발 도구에서 발생하는 이슈가 가장 큰 문제였습니다. 예를 들어보겠습니다.
로컬 이미지 빌드 및 EKS Job 실행에 사용하는 bazel docker, k8s rule이 deprecated 됨
Bottlerocket AMI 버전업 이후, 해당 버전의 Cuda driver와 Nvidia device plugin 기존 설정 값이 호환되지 않아 pod가 GPU 리소스를 할당받지 못하는 버그
학습이 종료되었지만 Pod가 Terminating phase로 넘어가지 않는 버그
이런 문제에 낭비되는 리소스를 줄이고자 SageMaker Training 을 도입했고, 개발 사이클 중 3번 실험 단계의 기술 스택을 다음과 같이 간소화할 수 있었습니다. 결과적으로 ML Engineer가 비즈니스와 더 밀접한 엔지니어링 작업에 집중할 수 있게 되었습니다.
도커 이미지 배포: Bazel, ECR ⇒ Bash 스크립트(다른 프로젝트와 공유) + ECR
학습 및 추론 실행: Ba