서로 충돌하는 데이터는 어떻게 다룰까요? 최근 멀티모달 대규모 언어모델(MLLM)을 만드는 표준 레시피는 점점 더 큰 여러 종류의 지시 및 응답 데이터를 한데 섞은 학습 데이터인 'Instruction Mixture'를 활용한 후학습(Post-training)으로 자리잡고 있습니다.
인식(Perception)
추론(Reasoning)
OCR
문서 이해
비디오 이해 등 모델이 수행해야 하는 능력이 다양해질수록, 학습에 사용되는 데이터셋의 수와 종류 역시 빠르게 늘어나고 있는데요. 하지만 서로 다른 성격의 데이터를 하나의 학습 과정에 함께 투입한다고 해서 항상 좋은 결과가 나오는 것은 아닙니다. 오히려 규모가 커질수록 두 가....... ||