Next-Concept Modeling(NCM) 은 텍스트를 여러 해상도의 이산 코드로 압축한 뒤, 단계별 코드를 병렬 생성하는 2단계 프레임워크임
확산 언어 모델(DLM) 이 매 단계 전체 시퀀스를 처리하는 것과 달리, 초기 단계에서는 짧은 코드 시퀀스만 처리해 생성 단계 수와 단계당 연산량을 함께 줄임
비슷한 파라미터 규모에서 가장 강력한 DLM 기준 모델과 비교해, LM1B에서는 더 나은 생성 퍼플렉시티로 21배, XSum에서는 동등한 ROUGE-L로 31배 빠르게 생성함
무조건부 생성에서 데이터에 가까운 표본 엔트로피를 유지하면서 함수 평가 횟수를
…