2편에서는 GPU를 vfio-pci에 바인딩해 VM에 연결하는 구조와 GPU 8장 VM의 부팅·메모리 구성을 살펴봤습니다. 이번 3편에서는 그 VM에 연결할 GPU를 어떻게 고르는지 다룹니다.
이 연재는 다음과 같이 구성됩니다.
1편: 컨테이너와 VM의 차이, Kata Containers의 Pod 실행 구조
2편: GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성
3편: Fabric Manager 파티션과 DRA를 이용한 GPU 할당
4편: IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능
GPU 8장이 장착된 서버에서 사용자에게 GPU 2장을 제공할 때 아무 2장이나 고를 수는 없습니다. GPU 간 고속 통신에 쓰는 NVLink가 하드웨어에서 허용한 조합끼리만 연결되기 때문입니다. 이 연결 규칙을 Kubernetes의 GPU 할당에 반영하려고 장치 플러그인(device plugin)으로 여러 방법을 시도해 봤지만 원하는 조합을 보장하지 못했고, 결국 DRA(동적 리소스 할당)로 바꿔 자체 드라이버를 만들었습니다. 이번 편에서는 이 과정에 이어 사용자가 GPU를 요청하는 방법과 할당된 GPU를 VM에 연결하는 과정, 할당 결과를 다룹니다.
아무 GPU나 묶을 수 없는 이유
사용자가 GPU 2장을 요청하면 8장 가운데 어떤 2장을 제공해야 할까요? NVLink로 묶을 수 있는 GPU 조합이 어떻게 정해지는지 살펴보겠습니다.
GPU 간 통신과 NVLink
모델이 GPU 한 장의 메모리에 들어가지 않거나 학습을 빠르게 하려면 작업을 여러 GPU에 나눠야 합니다. 작업을 나눠 맡은 GPU들은 학습 스텝마다 계산 결과를 주고받는데, 대표적인 연산은 각 GPU의 그레이디언트(gradient)를 모두 더해 나누어 갖는 NCCL(NVIDIA Collective Communications Library)의 all_reduce입니다.
이 통신이 느리면 학습도 느려집니다. PCIe만으로는 GPU 8장이 동시에 데이터를 주고받기에 대역폭이 부족하므로 GPU 전용 연결인 NVLink를 씁니다. 네이버 클라우드에서 구성한 B200 서버에서는 보드의 NVSwitch 칩이 GPU 8장을 NVLink로 연결합니다.
Fabric Manager가 정하는 파티션
NVSwitch가 어떤 GPU끼리 연결할지는 호스트에서 실행되는 NVIDIA Fabric Manager가 정합니다. VM 환경에서는 NVSwitch를 호스트에 남겨 두는 Shared NVSwitch 모드로 Fabric Manager를 실행합니다.
Fabric Manager는 NVLink로 함께 묶을 수 있는 GPU 조합을 미리 정해 두는데 이 조합을 fabric partition(이하 '파티션')이라고 합니다. 디스크를 나누는 파티션이나 GPU 한 장을 여러 개로 나누는 MIG(Multi-Instance GPU)와 달리 여러 GPU를 하나로 묶는 단위입니다.
VM에 GPU 2장을 연결할 때는 그 2장으로 이루어진 파티션을 활성화합니다. 그러면 두 GPU 사이에만 NVLink 경로가 구성되고 다른 VM의 GPU와는 연결되지 않습니다. 같은 GPU를 포함한 두 파티션은 동시에 활성화할 수 없습니다.
B200 서버 한 대에서 Fabric Manager가 보고한 파티션은 GPU 8장짜리 1개, 4장짜리 2개, 2장짜리 4개, 1장짜리 8개였습니다.
이름
크기
포함하는 물리 GPU
id1-8gpu
8
1 2 3 4 5 6 7 8
id2-4gpu-1234
4
1 2 3 4
id3-4gpu-5678
4
5 6 7 8
id4-2gpu-12
2
1 2
id5-2gpu-34
2
3 4
id6-2gpu-56
2
5 6
id7-2gpu-


