RTX 3090 한 장으로 도구 호출(에이전트) 일을 맡길 수 있을지 보려고, BFCL v4 다단계 과제 100개를 모델마다 5번씩 돌리고 공식 채점기로 최종 상태를 채점했습니다.
5번 다 해낸 과제 수: gemma4 26B 60, Claude Sonnet 5.5 57, LFM2.5 24B 45, qwen3.8 27B 42, Claude Haiku 5.5 36, gpt-oss 20B 28
평균 성공률과 "매번 성공"은 다른 이야기를 합니다. qwen3.8은 한 번이라도 푼 과제가 83개로 가장 많았지만 5번 다 해낸 건 42개였습니다.
Claude가 "진행할까요?"라고 묻다가 실패로 채점되는 걸 보고, 한 번 "예"라고 답해 주도록
…