1편에서는 Kata Containers(이하 'kata')가 Pod마다 VM을 만들고 그 안에서 컨테이너를 실행하는 구조를 살펴봤습니다. 2편에서는 이 VM에 GPU를 연결합니다.
이 연재는 다음과 같이 구성됩니다.
1편: 컨테이너와 VM의 차이, Kata Containers의 Pod 실행 구조
2편: GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성
3편: Fabric Manager 파티션과 DRA를 이용한 GPU 할당
4편: IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능
GPU 한 장을 VM에 연결하는 구성까지는 업스트림 kata와 NVIDIA의 도구로 만들 수 있었습니다. 문제는 GPU 8장을 VM 하나에 연결했을 때 생겼습니다. VM이 제한 시간 안에 부팅하지 못했고, 요청한 것보다 작은 VM이 만들어졌으며, 게스트는 호스트의 소켓 구조를 모른 채 메모리를 할당했습니다.
이번 편에서는 GPU가 호스트에서 VM 안의 컨테이너까지 거치는 계층을 따라간 뒤 세 문제를 차례로 다룹니다.
GPU가 VM 안의 컨테이너까지 가는 경로
먼저 서버의 하드웨어 배치를 보겠습니다. GPU, NIC(network interface card), NVMe가 어느 CPU 소켓과 PCIe 스위치에 연결되어 있는지에 따라 격리 단위와 데이터 경로가 달라지기 때문입니다. 네이버 클라우드에서 구성한 B200 서버 한 대에는 GPU 8장과 컴퓨트 IB(InfiniBand) NIC 8개, 스토리지 IB NIC 2개, 로컬 NVMe 4장이 있습니다. GPU 8장과 컴퓨트 NIC 8개는 PCIe 스위치마다 한 쌍씩 연결되어 있고, 소켓 0의 스위치 4개에는 NVMe가 1장씩 함께 연결되어 있습니다. 스토리지 NIC 2개는 소켓마다 별도 스위치에 있습니다.
호스트에 장착된 GPU를 VM 안의 컨테이너에서 쓰려면 무엇이 필요할까요? GPU는 다음 세 계층을 거쳐 컨테이너에 도착합니다.
IOMMU(input-output memory management unit): GPU가 쓰는 게스트 주소를 호스트 주소로 바꾸고, 게스트 메모리 밖으로의 접근을 막음
VFIO(Virtual Function I/O): GPU를 호스트 드라이버에서 떼어 QEMU에 넘김
CDI(Container Device Interface): 컨테이너에 연결할 장치를 런타임에 알려 줌
DMA 주소를 바꿔 주는 IOMMU
NVMe, NIC, GPU 같은 PCIe 장치는 DMA(direct memory access)로 메모리를 읽고 씁니다. CPU를 거치지 않고, 드라이버가 알려 준 물리 주소에 장치가 직접 접근하는 방식입니다.
그런데 VM 안에서는 이 물리 주소가 실제 물리 주소가 아닙니다. 게스트 커널이 물리 주소로 알고 있는 '게스트 물리 주소'는 QEMU 프로세스가 할당한 메모리를 가리킬 뿐, 호스트의 물리 주소와는 다릅니다. 게스트의 CPU가 메모리에 접근할 때는 하드웨어 가상화가 이 주소를 호스트 물리 주소로 바꿔 주므로 문제가 없습니다.
하지만 PCIe 장치의 DMA는 CPU를 거치지 않으므로 주소가 변환되지 않습니다. 게스트의 GPU 드라이버가 "게스트 물리 주소 0x1000에 결과를 써라"라고 지시하면 GPU는 호스트 물리 주소 0x1000에 그대로 씁니다. 그 자리가 호스트 커널이나 다른 VM의 메모리라면 한 VM의 장치가 호스트나 다른 VM의 데이터를 덮어쓸 수도 있습니다.
장치 쪽에서 이 변환을 맡는 하드웨어가 IOMMU입니다. CPU의 MMU(memory management unit)가 페이지 테이블로 주소를 바꾸듯, IOMMU는 변환 테이블을 보고 PCIe 장치가 보낸 게스트 물리 주소를 호스트 물리 주소로 바꿉니다. QEMU는 게스트를 시작할 때 게스트 메모리 전체의 주소


