Search

29GB RAM에서 Kimi K3를 0.50 tok/s로 실행하기

URL
날짜
2026/08/02
생성 일시
2026/08/01 15:20
태그
GeekNews
WASTE는 2.78조 파라미터의 완전한 Kimi K3 오픈 가중치 모델을 축소 없이 982GiB 컨테이너로 변환해 소비자용 노트북에서 실행하는 C 기반 추론 엔진임 모델의 상주 트렁크만 메모리에 두고 토큰마다 활성화되는 약 4%의 전문가 가중치를 NVMe에서 읽으며, 남은 R... ||