지난 블로그에서는 ENI(Elastic Network Interface)의 구조와 역할, 그리고 p5.48xlarge와 p6-b300 인스턴스에서 EFA(Elastic Fabric Adapter)를 실제로 어떻게 구성하는지 살펴보았습니다. 이번 블로그에서는 이렇게 구성된 EFA 네트워크 위에서 실제 GPU 간 통신이 어떻게 이루어지는지, 그 핵심에 있는 NCCL(NVIDIA Collective Communications Library) 통신에 대해 소개하고자 합니다. EFA가 고속도로를 깔아주는 인프라라면, NCCL은 그 위에서 수백 대의 GPU가 효율적으로 데이터를 주고받을 […] ||
지난 블로그에서는 ENI(Elastic Network Interface)의 구조와 역할, 그리고 p5.48xlarge와 p6-b300 인스턴스에서 EFA(Elastic Fabric Adapter)를 실제로 어떻게 구성하는지 살펴보았습니다. 이번 블로그에서는 이렇게 구성된 EFA 네트워크 위에서 실제 GPU 간 통신이 어떻게 이루어지는지, 그 핵심에 있는 NCCL(NVIDIA Collective Communications Library) 통신에 대해 소개하고자 합니다.
EFA가 고속도로를 깔아주는 인프라라면, NCCL은 그 위에서 수백 대의 GPU가 효율적으로 데이터를 주고받을 수 있도록 교통을 조율하는 관제 시스템에 해당합니다. 아무리 빠른 네트워크가 있어도 통신 패턴이 비효율적이면 성능을 제대로 끌어낼 수 없습니다. 이 블로그를 통해 NCCL이 무엇인지, 어떻게 동작하는지, 그리고 AWS EFA 환경에서 어떻게 최적화되는지를 이해할 수 있기를 기대합니다.
시리즈 블로그 보기
분산 트레이닝 관점에서의 AWS 인터커넥트 기술 소개 – AWS는 왜 인터커넥트 기술로 EFA를 사용하는가?
분산 트레이닝 관점에서의 AWS 인터커넥트 기술 소개 – AWS의 인터커넥트 기반 기술, ENI 소개
분산 트레이닝 관점에서의 AWS 인터커넥트 기술 소개 – AWS 환경에서 NCCL을 이용한 GPU 간 통신
분산 트레이닝 관점에서의 AWS 인터커넥트 기술 소개 – 분산 트레이닝을 위해 알아야 할 GPU 간 고속 통신 기술
분산 학습과 GPU 간 통신의 필요성
대규모 딥러닝 모델을 학습할 때는 단일 GPU로는 충분하지 않습니다. 수백억 개의 파라미터를 가진 대규모 언어 모델이나 복잡한 이미지 생성 모델을 학습하려면, 수십 개에서 수천 개 이상의 GPU를 동시에 활용하는 분산 학습이 필수적입니다. 분산 학습에서는 각 GPU가 데이터의 일부를 처리하거나 모델의 일부를 담당하며, 학습 과정에서 GPU들이 지속적으로 정보를 교환해야 합니다. 예를 들어, 데이터 병렬 학습에서는 각 GPU가 서로 다른 배치(batch)의 데이터로 그래디언트(gradient, 각 파라미터를 어느 방향으로 얼마나 조정해야 하는지 알려주는 수정 지침서)를 계산한 후, 이를 모든 GPU에 동기화하여 일관된 모델 업데이트를 수행합니다. 이러한 동기화 과정이 매 학습 스텝마다 발생하므로, GPU 간 통신의 효율성이 전체 학습 성능을 좌우하게 됩니다. 수백 개의 GPU를 사용하는 대규모 클러스터에서 통신 병목이 발생하면 전체 학습 시간이 몇 배로 늘어날 수 있습니다. 따라서 고성능 GPU 간 통신 라이브러리가 분산 학습의 성패를 결정하는 핵심 요소가 됩니다.
GPU 간 통신과 CPU 간 통신의 차이: NCCL과 MPI
분산 컴퓨팅에서 노드 간 데이터를 교환하는 통신 라이브러리는 워크로드 특성에 따라 다릅니다.
MPI(Message Passing Interface)는 여러 노드에 분산된 CPU 프로세스들이 서로 데이터를 주고받기 위한 표준 통신 인터페이스입니다. 엔지니어링 시뮬레이션에서 하나의 문제를 여러 노드에 나누어 계산할 때, 각 노드가 인접 노드의 계산 결과를 참조해야 하는데, 이때 MPI를 통해 노드 간 데이터를 교환합니다. MPI 사양을 구현한 라이브러리는 여러 가지가 있으며, 대표적으로 Open MPI와 Intel MPI가 있습니다. Open MPI는 오