Search
moon
sun

컨테이너처럼 쓰고, VM처럼 격리하기 4편 - IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능

URL
생성 일시
2026/11/18 05:00
최종 편집 일시
2026/11/18 05:00
태그
D2
파일과 미디어
3편에서는 Fabric Manager가 NVLink로 묶어 주는 GPU 조합인 fabric partition(이하 '파티션')을 DRA(동적 리소스 할당)로 할당하고 VM에 연결했습니다. 학습 작업을 실행하려면 GPU뿐 아니라 다른 서버와 IB(InfiniBand)로 통신할 NIC(network interface card), 모델과 데이터를 읽고 쓸 로컬 스토리지도 필요합니다. 이 연재는 다음과 같이 구성됩니다. 1편: 컨테이너와 VM의 차이, Kata Containers의 Pod 실행 구조 2편: GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성 3편: Fabric Manager 파티션과 DRA를 이용한 GPU 할당 4편: IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능 먼저 IB NIC와 로컬 NVMe를 VM에 연결하면서 겪은 문제를 살펴보고, 이어서 vCPU를 호스트 CPU에 잘못 배치해 생긴 문제와 해결 방법을 다룹니다. 끝으로 사용자가 작성하는 Pod YAML과 베어메탈 대비 성능을 정리합니다. VM 안에서 IB 네트워크 쓰기 VM 안의 GPU가 다른 서버의 GPU와 데이터를 주고받으려면 무엇이 필요할까요? 분산 학습은 스텝마다 수 GB의 그레이디언트(gradient)를 서버 사이에서 주고받습니다. TCP 소켓으로 보내면 요청마다 시스템 콜과 커널 소켓 버퍼 복사를 거치므로 그 처리 시간이 학습 시간에 더해집니다. 서버 사이의 GPU 통신과 RDMA RDMA(remote direct memory access)에서는 애플리케이션이 메모리 영역을 미리 등록하고 그 주소와 접근 키를 상대 서버와 교환해 둡니다. 그러면 NIC는 CPU와 커널 네트워크 스택을 거치지 않고, 등록된 메모리에서 데이터를 읽어 상대 서버의 등록된 메모리에 직접 씁니다. 저희 환경에서는 IB 네트워크로 RDMA를 사용합니다. 일반 RDMA가 다루는 대상은 호스트 메모리이므로 GPU의 데이터를 보내려면 먼저 호스트 메모리로 복사해야 합니다. GPUDirect RDMA(이하 'GDR')에서는 NIC가 GPU 메모리의 BAR(Base Address Register) 영역을 DMA(direct memory access)로 읽고 쓸 수 있어 이 복사가 필요 없습니다. NCCL(NVIDIA Collective Communications Library)은 GPU와 NIC가 가까이 연결되어 있으면 이 경로를 사용합니다. IB NIC를 VM에 연결하기 호스트에서 RDMA를 사용할 때는 /dev/infiniband 아래의 장치 파일을 엽니다. 하지만 이 파일은 호스트 커널의 드라이버에 접근하는 인터페이스이므로 VM 안에서는 쓸 수 없습니다. 따라서 VM의 GPU로 RDMA 통신을 하려면 IB NIC 자체를 게스트에 연결해야 했습니다. GPU와 같은 방식으로 NIC를 vfio-pci에 바인딩한 뒤 VFIO(Virtual Function I/O)로 게스트에 연결했습니다. 게스트에서도 NIC를 사용할 수 있도록 커널에 mlx5와 IB 드라이버를 넣어 빌드했습니다. 다만 NIC도 GPU처럼 한 번에 VM 하나에만 연결할 수 있습니다. B200 서버에는 GPU마다 짝지어진 컴퓨트 NIC 8개와 스토리지 네트워크용 NIC 2개가 있습니다. 컴퓨트 NIC는 GPU와 1:1로 짝지어 있어 그대로 연결하면 되지만, 스토리지 NIC는 2개뿐이라 VM 8개에 하나씩 연결할 수 없었습니다. 그래서 스토리지 NIC에는 SR-IOV를 적용했습니다. NIC 하나를 여러 VM에서 쓰는 SR-IOV SR-IOV(Single Root I/O Virtualization)를 켜면 물리 기능인 PF(Physical Function)가 가상 기능인 VF(Virtual Function)를 여러 개 만듭니다. VF마다 PC