DEEPX는 전력과 발열이 제한된 엣지 환경에서 고성능·저전력 추론을 구현하는 NPU (Neural Processing Unit)를 개발하는 AI 반도체 기업입니다. M.2 형태의 DX-M1 NPU와 자체 개발한 dx_rt 런타임, dx_stream 미디어 파이프라인을 통해 객체 탐지, 얼굴 인식, OCR과 같은 비전 AI 모델을 카메라, 로봇, 산업용 PC 등 다양한 엣지 디바이스에서 실행할 수 있도록 지원하며, 소매, 제조, 물류처럼 자원과 네트워크가 […] ||
DEEPX는 전력과 발열이 제한된 엣지 환경에서 고성능·저전력 추론을 구현하는 NPU (Neural Processing Unit)를 개발하는 AI 반도체 기업입니다.
M.2 형태의 DX-M1 NPU와 자체 개발한 dx_rt 런타임, dx_stream 미디어 파이프라인을 통해 객체 탐지, 얼굴 인식, OCR과 같은 비전 AI 모델을 카메라, 로봇, 산업용 PC 등 다양한 엣지 디바이스에서 실행할 수 있도록 지원하며, 소매, 제조, 물류처럼 자원과 네트워크가 제한된 현장에 실시간 AI 추론 환경을 제공합니다.
카메라 한 대와 엣지 디바이스 한 대만 있으면 AI 모델을 실행하는 설정은 단순합니다. 하지만 이를 여러 매장과 공장, 물류 거점으로 확대하면 장비마다 NPU 드라이버, 펌웨어와 런타임 버전을 맞추고 동일한 실행 환경을 일관되게 배포해야 하는 운영 문제가 발생합니다. 이 글에서는 DEEPX DX-M1 계열 NPU와 AWS IoT 서비스를 결합해 이 과정을 단순화하는 방법을 소개합니다.
이 글은 다음 순서로 진행합니다.
먼저 현장에서 겪는 엣지 AI 배포 과제를 살펴보고 DEEPX와 AWS IoT를 결합한 DEEPX Greengrass Solution 전체 아키텍처를 소개합니다. 이어서 AWS Marketplace를 통해 ONNX 모델을 자동으로 컴파일하는 방법을 살펴본 후, AWS IoT Core 및 Greengrass를 통한 런타임을 OTA(Over-the-Air) 방식으로 배포하는 방법을 설명합니다. 마지막으로 여러 엣지 디바이스의 배포 상태와 추론 결과를 확인하며, 엣지 AI 환경을 얼마나 간편하게 구성할 수 있는지 살펴봅니다.
핵심 요약
DEEPX는 저전력 온디바이스 추론을 담당하고, AWS IoT Core와 Greengrass는 디바이스 연결, 그룹 단위 배포, 컴포넌트 수명 주기와 업데이트 상태를 관리합니다. 두 제품을 결합하면 모델을 NPU용으로 준비하는 과정과 여러 엣지 장비에 동일한 실행 환경을 배포하는 과정을 하나의 흐름으로 연결할 수 있습니다.
엣지 AI 배포 과제와 클라우드-엣지 연계 방식
앞에서 언급했듯이 디바이스 한 대에서 모델을 실행하는 일은 어렵지 않습니다. 문제는 매장과 공장, 물류 거점으로 그 수가 늘어나는 순간부터 시작됩니다.
각 디바이스의 운영체제와 커널에 맞는 NPU 드라이버를 설치하고, 펌웨어와 런타임 버전을 맞추고, 클라우드에서 학습한 모델을 NPU가 실행할 수 있는 형식으로 변환해야 합니다. 현장마다 이 과정을 반복하면 배포 시간이 길어지고 버전 불일치 가능성도 커집니다.
그림 1. DEEPX NPU 제품군. 이 글은 DX-M1 계열 엣지 NPU를 중심으로 설명합니다.
그래서 디바이스가 늘어날수록 드라이버, 펌웨어, 런타임, 모델의 버전과 배포 상태를 원격으로 관리하고, 운영 데이터를 바탕으로 개선한 모델을 다시 배포할 수 있어야 합니다.
ONNX 모델을 NPU가 이해하는 언어로: DXNN 컴파일러
DEEPX는 칩과 함께 ONNX 모델을 NPU 실행 형식인 DXNN으로 변환하는 컴파일러를 제공합니다. 사용자는 AWS Marketplace에서 DEEPX Greengrass Solution을 구독해 필요한 환경을 구성합니다. 이후 사용자가 ONNX 모델과 컴파일 설정 JSON을 Amazon S3에 업로드하면, 이벤트 기반 컴파일 워크플로가 모델을 DXNN으로 변환하고 결과를 같은 S3 경로에 저장합니다.
컴파일에서 현장 운영까지, 한 번에 연결하기
AWS IoT Core와 AW