안녕하세요, 당근 SRE팀 딜리버리 파트에서 일하고 있는 Uno(우노)예요. 딜리버리 파트는 Kubernetes 환경 기반의 사내 배포 플랫폼 Kontrol을 운영하고 GitHub Actions 중심의 전사 CI 시스템을 관리해요. 이번 글에서는 GitHub Actions를 운영하며 Job의 대기 현황과 Job을 실행 중인 Runner를 파악하기 위해 exporter를 만들고 개선한 과정을 소개할게요.
exporter를 소개하기에 앞서 GitHub Actions의 구조를 간단히 살펴볼게요. GitHub Actions에서는 push나 Pull Request 같은 이벤트가 발생했을 때 실행할 작업의 흐름을 Workflow로 정의해요. 하나의 Workflow는 테스트, 빌드처럼 여러 Job으로 나뉘어 각 Job은 Runner라는 실행 환경에 배정되어 실행되고 할당 가능한 Runner가 없으면 Job은 배정될 때까지 대기해요.
name: Simple # 1. Workflow: 자동화 작업 정의
on:
workflow_dispatch:
jobs:
run_shell_command: # 2. Job: Runner 배정 및 실행 단위
name: Actions are amazing
runs-on: arc-test-runner
steps: # 3. Step: 작업 실행 절차 및 명령
- name: Say hello
run: |
echo "Hello!"GitHub Actions의 Job을 실행하는 Runner는 크게 GitHub이 관리하는 GitHub-hosted Runner와 GitHub 외부에서 운영하는 self-hosted Runner 두 가지로 나뉘어요. 당근은 Kubernetes 환경에서 직접 운영하는 self-hosted Runner를 주로 사용하고 이 Runner는 ARC(Actions Runner Controller)라는 Kubernetes 오퍼레이터로 관리해요.
ARC는 Runner Scale Set 단위로 Runner를 관리하고 대기 중인 Job 수에 맞춰 Runner 수를 조절해요. Runner Scale Set에는 Runner의 이미지와 리소스 및 최소, 최대 수를 설정할 수 있고 Workflow의 runs-on에 Runner Scale Set을 지정하면 해당 Runner에 Job이 배정돼요.
출처: https://docs.github.com/en/actions/concepts/runners/actions-runner-controllerRunner 수가 자동으로 조절되지만 모든 Job이 즉시 실행되지는 않고 GitHub 장애가 발생하거나 Job 요청이 급증해 실행이 지연되면 Queued 상태로 표시돼요. ARC로 Runner를 운영하면서 가장 자주 받은 문의도 “GitHub Action이 Queued 상태로 실행되지 않아요.”였어요.
하지만 상황 파악을 위한 데이터가 부족해서 GitHub 상태 페이지에 공지가 올라오기를 기다리거나 ARC가 기본적으로 제공하는 메트릭으로 원인을 추측할 수밖에 없었어요.
ARC 기본 메트릭으로 Runner와 Job의 집계 현황은 볼 수 있지만 Runner를 기다리는 Job 개수와 대기 시간, 어떤 Job이 어느 Runner Pod에서 실행되는지는 파악하기 어려웠어요. 이런 정보를 확인할 수 있다면 Job 실행을 기다리는 개발자분들께 현재 상황을 더 명확하게 안내할 수 있을 거라고 생각했고 해결책을 찾던 중 Runner Pod에 Job 정보를 라벨로 추가하자는 ARC 이슈를 발견했어요. 하지만 이 방식은 컨트롤러 변경과 권한 추가가 필요해 적용까지 시간이 걸릴 수 있었고 라벨을 메트릭으로 수집하는 구성도 따로 마련해야 해서 다른 방법을 찾아야 했어요.
그래서 Runner Pod와 Job의 관계뿐만 아니라 대기 중인 Job까지 살펴볼 수 있도록 action-runner-job-exporter를


