https://aws.amazon.com/ko/blogs/spatial/embodied-ai-blog-series-part-1/ 의 번역 글입니다. 우리는 고급 AI 모델을 통해 디지털 세계뿐만 아니라 물리적 세계까지 영향을 미칠 수 있는, 기술 진화의 중요한 이정표에 도달했습니다. 이제 텍스트를 생성하는 AI에서 원자를 움직이는 AI로 발전하고 있습니다 — 옷을 개고, 물류를 정리하고, 복잡한 물리적 작업을 스스로 판단하여 수행하는 등 일상생활 전반을 보조합니다. 하지만 구조화되지 않은 역동적인 물리적 세계와 성공적으로 상호작용하는 […] ||
https://aws.amazon.com/ko/blogs/spatial/embodied-ai-blog-series-part-1/ 의 번역 글입니다.
우리는 고급 AI 모델을 통해 디지털 세계뿐만 아니라 물리적 세계까지 영향을 미칠 수 있는, 기술 진화의 중요한 이정표에 도달했습니다. 이제 텍스트를 생성하는 AI에서 원자를 움직이는 AI로 발전하고 있습니다 — 옷을 개고, 물류를 정리하고, 복잡한 물리적 작업을 스스로 판단하여 수행하는 등 일상생활 전반을 보조합니다. 하지만 구조화되지 않은 역동적인 물리적 세계와 성공적으로 상호작용하는 기술을 구현하려면 단순한 코드만으로는 부족합니다. 반복 가능성, 대규모 확장성, 그리고 엄격한 연구가 뒷받침되어야 합니다.
그 해결책은 로봇 학습에 있습니다. 기존의 모델 기반 제어에서 벗어나, 자율 시스템에서 전례 없는 역량을 실현하는 데이터 기반 패러다임으로의 전환입니다. 이는 물리적 및 시뮬레이션 하드웨어 통합, 원격 조작 및 제어, 데이터셋 수집과 증강, 정책 학습 및 평가, 추론 최적화에 이르는 다층적 라이프사이클을 포함합니다.
[TWIST2의 원격조작 인터페이스를 통해 인간 운영자와 로봇이 동기화된 목 움직임을 수행하며, 하드웨어 통합, 제어 및 데이터 수집 과정을 시연]
지난 2년간 로봇 학습 커뮤니티는 중요한 변곡점에 도달했습니다. Diffusion Policy, ACT(Action Chunking Transformers) 등의 모방 학습 프레임워크는 시연 데이터로부터 조작 작업을 효과적으로 학습할 수 있음을 입증했으며, π0(Pi Zero), NVIDIA Isaac GR00T, Molmo-Act 같은 범용 VLA(Vision-Language-Action) 모델은 시각적 인식과 자연어 이해를 결합하여 다양한 작업과 로봇 형태에 걸쳐 일반화 능력을 보여주고 있습니다. 이러한 방법론적 도약과 함께, NVIDIA Cosmos Predict 같은 월드 모델링 접근 방식은 로봇이 행동하기 전에 미래 상태를 시뮬레이션하고 예측할 수 있게 해주며, HIL-SERL 같은 강화 학습 방법은 인간 피드백과 강화 학습을 결합해 샘플 효율적인 학습을 달성하거나 현재 상태에 기반한 작업 보상을 모델링합니다. 특히 주목할 점은, Hugging Face의 LeRobot 같은 오픈소스 프로젝트가 이 기술 스택을 민주화하고 있다는 것입니다. 표준화된 데이터셋, 학습 파이프라인, 평가 벤치마크를 제공함으로써 누구나 이러한 발전에 기여할 수 있는 토대를 마련하고 있습니다.
NVIDIA Isaac GR00T은 로봇 학습을 위한 범용 기반 모델로서 독보적인 위치를 차지하고 있습니다. 오픈소스로 공개되어 있어 개발자가 자체 데이터로 사전 학습하거나 미세 조정할 수 있습니다. 특히 GR00T N1.5 3B는 실제 시연 데이터, Isaac Lab의 합성 데이터, 인터넷 규모의 비디오로 구성된 방대한 “데이터 피라미드”를 기반으로 학습되었으며, 다양한 작업과 로봇 형태에 걸쳐 뛰어난 일반화 성능을 보여줍니다. GR00T N1.5를 미세 조정하면 이러한 사전 학습 지식을 활용해 훨씬 적은 시연 데이터만으로도 높은 성능을 달성할 수 있으며, 학습 시간을 수개월에서 수시간으로 대폭 단축할 수 있습니다. 동시에 엣지와 클라우드 환경 모두에 유연하게 배포할 수 있다는 장점도 갖추고 있습니다. 사전 학습된 GR00T 기반 모델의 상업적 사용에 대해서는 NVIDIA의 최신