GPU 서버 한 대를 여러 사용자가 함께 쓴다면 사용자의 작업을 어디까지 격리해야 할까요? 적어도 한 사용자의 컨테이너 탈출이 같은 서버에 있는 다른 사용자의 작업이나 GPU 접근으로 이어져서는 안 됩니다.
Kubernetes 위에서 NVIDIA GPU 환경을 격리하면서 겪은 문제와 해결 방법을 네 편으로 나누어 정리했습니다.
1편: 컨테이너와 VM의 차이, Kata Containers의 Pod 실행 구조
2편: GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성
3편: Fabric Manager 파티션과 DRA를 이용한 GPU 할당
4편: IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능
1편에서는 컨테이너와 VM의 차이를 알아보고, Kata Containers(이하 'kata')가 Pod를 VM 안에서 실행하는 과정을 따라가 보겠습니다. GPU, 네트워크, 스토리지를 VM에 연결하고 vCPU를 배치하는 과정은 2편부터 다룹니다.
모든 편은 다음 환경을 기준으로 합니다.
Kata Containers 4.1.0
Kubernetes 1.34 이상
NVIDIA HGX B200 8-GPU 베어메탈 서버
본문에서 '내부 수정본'으로 표시한 동작은 업스트림 kata에 없는 변경이고, 표시하지 않은 동작은 업스트림 기능과 설정입니다.
컨테이너의 호스트 커널 공유
컨테이너와 VM을 구분하는 기준은 커널입니다. 컨테이너는 호스트 커널을 함께 쓰고, VM은 자기 커널을 따로 부팅합니다. 커널이 하는 일부터 짚어 보겠습니다.
Linux는 애플리케이션, 셸, 데이터베이스가 실행되는 사용자 공간과 커널이 실행되는 커널 공간을 나누어 둡니다. CPU, 메모리, 디스크, 네트워크 같은 하드웨어는 커널이 직접 제어하고, 사용자 공간의 프로그램은 커널에 작업을 요청합니다. 파일을 열거나 패킷을 보낼 때 쓰는 이 요청을 '시스템 콜'이라고 합니다. 백엔드 코드에서 호출하는 open(), read(), send()도 모두 시스템 콜을 거칩니다.
커널 하나가 모든 프로세스의 시스템 콜을 처리하므로 커널에 결함이 생기면 그 커널을 공유하는 프로세스 전체가 영향을 받습니다.
호스트 커널 위의 프로세스인 컨테이너
컨테이너는 호스트 커널 위에서 격리된 프로세스로 실행됩니다. 별도 커널을 부팅하지 않으므로 VM보다 가볍습니다. 컨테이너가 호스트 커널을 쓴다는 것은 Docker가 설치된 Linux 장비에서 호스트와 두 컨테이너의 커널 버전을 비교해 보면 바로 알 수 있습니다.
$ uname -r
6.8.0-60-generic
$ docker run --rm ubuntu:24.04 uname -r
6.8.0-60-generic
$ docker run --rm rockylinux:9 uname -r
6.8.0-60-generic
Ubuntu와 Rocky Linux 이미지를 실행했는데도 세 명령의 결과는 같습니다. 이미지에 들어 있는 것은 배포판의 사용자 공간 프로그램(libc, 셸, 패키지)이고, 커널은 호스트의 것을 함께 쓰기 때문입니다.
그렇다면 컨테이너끼리는 어떻게 나누어질까요? Linux는 네임스페이스로 프로세스가 보는 범위(PID, 네트워크, 마운트)를 분리하고, cgroup으로 CPU와 메모리 사용량을 제한합니다. 프로세스가 볼 수 있는 것과 쓸 수 있는 양을 나누되, 시스템 콜을 처리하는 커널은 공유하는 구조입니다.
커널을 공유할 때의 위험
커널을 함께 쓰는 구조에서는 컨테이너 런타임이나 커널의 취약점이 호스트에도 영향을 줄 수 있습니다. 컨테이너 안의 프로세스가 격리를 벗어나 호스트의 파일이나 프로세스에 접근하는 경우를 '컨테이너 탈출'이라고 부릅니다.
GPU를 쓰는 컨테이너는 runc와 NVIDIA Container Tool


