Cloud AI 100 Ultra는 생성형 AI와 대규모 언어 모델(LLM)을 위해 설계된 추론 카드로, 대규모 배포에 필요한 성능과 전력 효율, 비용 최적화를 목표로 함
TDP 150W에서 ECC 지원 128GB 메모리와 548GB/s 메모리 대역폭을 제공함
카드당 AI 코어 64개와 최대 576MB 온다이 SRAM을 갖추며, 최대 연산 성능은 INT8 870 TOPS, FP16 288 TFLOPS임
다양한 워크로드와 가속 기법을 프로그래밍할 수 있으며, 컴퓨터 비전과 자연어 처리부터 Transformer 기반 LLM까지 대상으로 함
PCIe Gen4 16레인으로 호스트에 연결되며, 카드 규격은 111.2 ×
…