이 글은 2부입니다. 1부에서는 AWS PCS가 무엇이고(관리형 Slurm), 왜 필요하며, 요금이 어떻게 구성되는지를 다뤘습니다. 아직 1부를 보지 않으셨다면 개념과 비용 구조를 먼저 확인하시길 권합니다. 2부에서는 내 워크로드(CFD/CAE, 분산 트레이닝)에 PCS가 실제로 어떤 변화를 주는지, 하나의 클러스터로 통합하는 멀티 큐, AWS ParallelCluster에서 PCS로의 전환 가이드, 그리고 도입 사례를 살펴봅니다.
시리즈 블로그 보기
ParallelCluster 잘 쓰고 있는데, 왜 AWS PCS인가? (1부) — 관리형 Slurm의 가치와 비용 구조
ParallelCluster 잘 쓰고 있는데, 왜 AWS PCS인가? (2부) — 워크로드별 적용과 전환 실전 가이드
1. CFD/CAE 등 전통적 과학, 엔지니어링 워크로드 운영을 고려하는 고객이라면
AWS 클라우드 환경에서 자동차 충돌 해석, 유체 해석, 구조 해석 같은 시뮬레이션은 Slurm 클러스터에서 상용 솔버로 수행되는 경우가 대부분입니다. 이 영역 고객의 질문은 명확합니다. “무료 ParallelCluster를 잘 쓰고 있는데 왜 유료 PCS인가?” 답은 운영 부담과 중단 비용입니다. 그리고 여기서 중요한 것은, 범용 HPC를 위한 관리형 Slurm 선택지가 PCS라는 점입니다. SageMaker HyperPod도 Slurm을 쓸 수 있지만 ML 학습에 특화되어 있어 CFD/CAE 같은 상용 솔버 워크로드에는 적합하지 않습니다. 전통적 HPC에서 현실적인 선택지는 ParallelCluster를 직접 운영하거나 PCS를 사용하는 것, 두 가지입니다.
ParallelCluster와 비교해 CFD/CAE 엔지니어에게 달라지는 것
몇 주간 실행 중이던 해석을 다시 시작할 위험이 사라집니다. 며칠씩 이어지는 대규모 과도(transient) 해석이나 최적화 반복 계산이 진행되는 동안 OS와 스케줄러 패치가 배포되어도, 스케줄러는 AWS가 무중단으로 패치하고 노드는 순차적으로(롤링) 교체되어 실행 중인 해석은 끝까지 진행됩니다. ParallelCluster에서는 Slurm 버전을 올리려면 클러스터를 새로 만들어 작업을 옮겨야 했던 부분입니다.
스케줄러 다운이 곧 해석 중단이던 구조가 바뀝니다. 헤드 노드 장애를 새벽에 복구하던 일은 AWS 관리 영역으로 넘어가고, 월 99.9% 가동률 SLA가 적용됩니다.
팀별 큐가 노드를 공유합니다. 유체 해석 팀과 구조 해석 팀이 각자의 큐를 갖더라도, PCS에서는 두 큐가 같은 노드 그룹을 공유할 수 있어 한 팀이 쓰지 않는 노드를 다른 팀이 바로 사용할 수 있습니다. ParallelCluster처럼 큐마다 노드를 전용으로 갈라 두어 노는 자원이 생기는 일이 줄어듭니다(3장).
팀별 사용량 집계(Slurm accounting)도 관리형입니다. ParallelCluster에서는 slurmdbd와 데이터베이스를 직접 운영해야 하지만, PCS는 옵션으로 켜면 AWS가 accounting 데이터베이스를 운영합니다. fair-share 정책이나 팀별 비용 배분의 기반이 됩니다.
옮겨도 그대로 유지되는 것
상용 솔버 환경은 대부분 그대로 재사용할 수 있습니다. Fluent, STAR-CCM+ 등 상용 애플리케이션의 라이선스 서버(FlexNet 등)는 고객 VPC나 온프레미스의 외부 리소스로 지금처럼 연결하면 되며, 라이선스 재구성은 필요하지 않습니다. 다만 솔버 바이너리는 배치 위치에 따라 다릅니다. 공유 스토리지(FSx for Lustre, EFS 등)에 설치돼 있으면 해당 파일시스템을 PCS 클러스터에 마운트해 재설치 없이 재사용할 수 있고, 기존에 AMI나 노드 로컬에 설치돼 있었다면 새 AMI에 재설치하거나 공유 스토리지로 옮겨야 합니다.
컴퓨트 노드는 여전