Baidu가 ERNIE-5.5-Flash-Base의 사전학습 종료 시점 가중치를 공개함. 중간 학습이나 후속 학습을 거치지 않아 도메인 적응, 지시 튜닝, 강화학습 연구의 출발점으로 사용할 수 있음
전체 2,800억 파라미터 중 토큰당 140억 개를 활성화하는 희소 MoE 모델이며, 33.5조 토큰으로 처음부터 학습함. 사전학습 문맥은 최대 128K, 미세조정과 추론 문맥은 1M 토큰을 지원함
하이브리드 희소 어텐션으로 대부분의 층에서 과거 문맥을 128배 압축하고, 일부 층에서 토큰 단위 접근을 유지함. 모델 용량, 활성 연산량, KV 캐시와 긴 문맥 처리 비용을 함께 고려한 설계임
…