머신러닝의 학습 과정에서 고품질 모델을 훈련시키려면 대규모의 고품질 데이터가 필수적이며, 이를 준비하는 과정은 보통 여러 출처의 데이터를 한곳에 모으는 작업을 동반합니다. 이 방식은 효과적이지만 의료 기관, 금융 기관, 정부 기관과 같이 데이터 프라이버시, 규제 준수, 데이터 주권에 민감한 환경에서는 조직 밖으로 반출할 수 없는 소중한 데이터를 보유하고 있는 경우가 많습니다. 연합 학습(Federated Learning, FL)은 이에 […] ||
머신러닝의 학습 과정에서 고품질 모델을 훈련시키려면 대규모의 고품질 데이터가 필수적이며, 이를 준비하는 과정은 보통 여러 출처의 데이터를 한곳에 모으는 작업을 동반합니다. 이 방식은 효과적이지만 의료 기관, 금융 기관, 정부 기관과 같이 데이터 프라이버시, 규제 준수, 데이터 주권에 민감한 환경에서는 조직 밖으로 반출할 수 없는 소중한 데이터를 보유하고 있는 경우가 많습니다.
연합 학습(Federated Learning, FL)은 이에 대한 매력적인 대안을 제시합니다. 데이터를 모델로 이동시키는 대신, 모델을 데이터로 가져가는 방식입니다. 각 참여자는 자신의 비공개 데이터셋에서 로컬 모델을 훈련시키고, 원시 데이터가 아닌 모델 가중치만 중앙 서버와 공유합니다. 여러 노드와 환경에 걸쳐 모델을 학습한다는 점에서, 분산훈련과 비슷해 보이지만, 여전히 원본 데이터의 이동이 필요한 일반적인 분산 훈련과 달리, 연합학습은 각 참여자가 원본 데이터를 노출하지 않고도 협력하여 강력한 모델을 훈련할 수 있게 해줍니다.
이번 글에서는 크게 두 가지를 다룹니다. 첫째, 연합학습 플랫폼을 Amazon EKS(Elastic Kubernetes Service) 위에 배포하는 구조를 구체적으로 설명합니다. 둘째, 해당 클러스터에서 세 가지 데이터 시나리오를 실행하고 결과를 해석합니다. 세 가지 시나리오는 의도적으로 생성된 상황으로 연합학습이 잘 동작하는 경우, 비대칭적 데이터를 갖는 경우, 그리고 한 참여자의 데이터 품질이 떨어지는 경우로 설정됩니다. 사용하는 핵심 기술은 분산 연합학습 시스템을 구축하기 위한 SDK 인 NVIDIA FLARE 와, 이를 컨테이너 오케스트레이션 위에서 구동하기 위한 Amazon EKS입니다.
연합 학습의 기본 개념
연합 학습은 기존의 분산 훈련과 근본적으로 다릅니다. 분산 훈련에서는 데이터가 노드 전체에 분산되지만 공유되고 접근 가능한 환경에 존재하며 데이터가 이동합니다. 연합 학습에서는 데이터가 원본 사이트를 절대 벗어나지 않습니다. 네트워크를 통해 이동하는 것은 모델 가중치뿐이며, 추가적인 프라이버시 보장을 위해 암호화도 가능합니다.
Scatter and Gather 워크플로
가장 일반적인 연합학습 패턴은 Scatter and Gather 방식입니다. 이 워크플로는 연합학습을 통해 훈련되는 전역 모델을 관리하는 중앙 서버와 각 사이트에서 데이터셋을 이용해 훈련을 진행하는 여러 대의 클라이언트로 구성됩니다. 하나의 완전한 훈련 라운드는 아래와 같이 이루어집니다.
단계
그림
설명
Scatter
서버가 모든 클라이언트에 동일한 전역 모델의 가중치를 전송합니다.
Train
각 클라이언트가 수령한 모델을 자신의 로컬 데이터셋으로 훈련합니다. 데이터는 클라이언트를 벗어나지 않으며, 각 클라이언트마다 로컬 모델을 생성합니다.
Gather
클라이언트가 업데이트된 로컬 모델들의 가중치를 서버로 전송합니다.
Aggregate
서버가 모든 클라이언트 가중치를 새로운 전역 모델로 집계합니다. (예: FedAvg)
Repeat
새로운 전역 모델이 다시 각 클라이언트로 배포되고 훈련 과정이 반복됩니다.
교차 사이트 모델 평가 (CSE)
일반적인 중앙집중식 학습이라면 훈련에 사용되지 않는 테스트셋을 준비하고, 훈련이 끝난 모델을 준비된 테스트셋에 통과시켜 그 결과 지표로 품질을 판정합니다. 그러나 연합 환경에는 모두가 신뢰하는 단일 중앙 테스트셋이 존재하지 않습니다. 데이터가 각 사이트를 벗어나지 못하는 것이 애초의 전제이기 때