6편에서 "10초 걸리던 검색을 1초로"를 이야기했습니다. 이번 글은 그 뒤의 정확한 숫자와 방법입니다. 그리고 이 글의 진짜 주제는 속도가 아니라 "내가 느리다고 생각한 곳은 대체로 느린 곳이 아니었다" 입니다.
원칙 하나: 추측하지 말고 측정하라. 이 글에 나오는 네 번의 최적화 중 세 번은 제가 처음에 지목한 범인이 아니었습니다.왜 추측이 계속 틀리나
성능 최적화에서 직관이 유독 잘 틀리는 이유가 있습니다. 우리는 "복잡해 보이는 것"을 느리다고 착각합니다.
검색이 10~20초 걸릴 때 제 머릿속의 범인 순위는 이랬습니다.
LLM 리랭크 (AI니까 당연히 느리겠지)
임베딩 계산 (벡터 수천 개