LLM의 위치 정보는 같은 토큰이라도 문장 안의 순서와 거리에 따라 다르게 처리하도록 도움을 줌. 인과 마스크도 암묵적인 순서 정보를 주지만, 토큰 간 거리를 직접 알려주지는 않음
GPT-2는 학습한 위치 벡터를 입력 임베딩에 더하고, 원래 Transformer는 고정된 사인/코사인 벡터를 더함. 두 방식 모두 토큰의 절대 위치를 표현함
RoPE는 어텐션 내부에서 쿼리와 키를 회전시켜 상대 위치를 내적에 반영함. 회전 전 벡터가 고정돼 있다면 두 토큰을 같은 거리만큼 이동해도 내적이 유지됨
최근 아키텍처는 일부 차원만 회전하는 부분
…
현대 LLM의 위치 임베딩 이해하기
날짜
2026/11/16
생성 일시
2026/11/15 22:21
태그