Search

8달러짜리 마이크로컨트롤러에서 2,890만 매개변수 LLM 실행하기

URL
날짜
2026/07/27
생성 일시
2026/07/26 16:20
태그
GeekNews
ESP32-S3에서 서버 연결 없이 2,890만 매개변수 언어 모델을 구동해 작은 화면에 약 초당 9개 토큰으로 텍스트를 출력함 전체 매개변수 중 2,500만 개를 느린 플래시에 두고 토큰마다 필요한 약 6개 행, 450바이트만 읽는 Per-Layer Embeddings 구... ||