LLM 제공사의 API 기반 서비스나 클라우드 제공사의 서버리스 관리형 AI 서비스는 개발자가 생성형 AI 애플리케이션을 시작할 때, 선택할 수 있는 가장 간단한 방법입니다. GPU를 직접 준비하거나 모델을 설치할 필요 없이 API를 연결하면 되고, 모델 업데이트와 추론 환경도 제공사가 관리하기 때문이죠. 그러나 모든 기업과 개발팀이 AI를 이런 방식으로 사용할 수 있는 것은 아닙니다. 보안 요구가 높은 환경에서는 인터넷과 분리된 폐쇄망에서 AI를 운영해야 할 수 있고, 사용량이 많아지면 API 비용도 부담이 될 수 있습니다. 토큰 단위로 API 비용을 계속 지불하는 것이 나을지, GPU를 직접 운영하며 오픈 웨이트(Open Weight) 모델을 직접 구동하는 것이 나을지 고민하는 개발팀도 많습니다.