Skild AI: 시뮬레이션을 통해 옴니바디드 인텔리전스 개척

수년 동안 로보틱스는 수천 개의 환경과 다양한 형태학 전반에 걸쳐 수천 개의 작업을 수행할 수 있는 로봇을 구축하는 방법이라는 똑같은 다루기 어려운 문제로 어려움을 겪었습니다. 인공지능은 대규모 데이터셋, 대규모 네트워크, GPU 학습의 간단한 레시피를 통해 언어 및 비전 분야에서 놀라운 성공을 거두었지만, 물리학 및 공간 관계를 이해하고 올바른 모터 명령을 출력하는 신뢰할 수 있는 피지컬 AI는 새로운 과제를 야기합니다.

풍부한 인터넷 데이터를 갖춘 도메인과 달리, 로보틱스는 심각한 데이터 부족으로 어려움을 겪었습니다. 물리적 로봇의 실제 데이터 수집은 느리고 비용이 많이 듭니다. 데이터 수집을 위한 로봇을 운영하는 것은 단일 고품질 시연을 생성하는 데 몇 분이 걸리지만, AI 시스템은 효과적이려면 수십억 개의 학습 샘플이 필요합니다. 안정적으로 수행할 수 있는 충분한 학습 데이터가 없는 로봇은 새로운 운영 데이터를 캡처하여 더 복잡한 기술을 학습할 수 있도록 대규모 배포할 수 없습니다. 이러한 한계로 인해 로봇 기술은 인상적인 시연에 머물러 왔으며, 실제 현장에서 성공적으로 도입된 사례는 많지 않습니다.

Skild AI는 Skild Brain이라는 진정한 로보틱스 파운데이션 모델을 구축했습니다. 특정 유형의 로봇에 과적합한 다른 로보틱스 모델과 달리, Skild Brain은 다양한 로봇 형태에 대응하는 옴니바디 모델로, 로봇의 정확한 몸체를 모르더라도 모든 로봇을 제어할 수 있습니다. 인간의 두뇌와 마찬가지로 로봇이 무엇을 해야 하는지 결정하는 고수준 의사 결정자(예: “컵을 잡기”)와 이러한 명령을 실행하는 데 필요한 정밀한 근육 움직임을 처리하는 낮은 수준 컨트롤러를 갖추고 있습니다.

데이터 부족을 극복하기 위해 Skild AI는 물리학 기반 합성 데이터 생성과 인터넷의 인간 영상이라는 두 가지 대체 데이터 소스를 활용합니다. 실제 원격 운영 데이터 수집과 달리, 이러한 소스는 거의 무제한으로 확장 가능합니다. 더 많은 GPU에 걸쳐 시뮬레이션을 복제하여 확장할 수 있으며, 인터넷에서 지속적으로 증가하는 거대한 영상 데이터셋이 있습니다. 

이 회사의 주요 혁신은 컨텍스트 내 학습을 통해 적응하는 모델입니다. 동작이 예상대로 작동하지 않는 경우를 분석함으로써 로봇은 직관과 유사한 것을 개발하여 다양한 환경을 기반으로 동작을 조정합니다. 이를 통해 로봇은 각 시나리오에 대해 사전 프로그래밍 명령을 필요로 하지 않고 복잡한 환경에서 동적으로 운영할 수 있습니다.

Skild AI는 Isaac Lab을 사용하여 까다로운 조건에서 로봇의 강화 학습 개발에 필요한 시뮬레이션 학습 시나리오를 생성합니다. 이 회사는 Cosmos Transfer를 활용하여 환경 변동을 추가함으로써 학습 데이터셋을 강화하고, 신경 학습 데이터의 범위와 견고성을 확장합니다. 이 다각적인 시뮬레이션 접근 방식을 통해 Skild AI는 며칠 만에 천 년의 경험을 습득할 수 있게 되어, 전례 없는 속도로 대규모 로봇 학습을 실현할 수 있습니다.

Skild AI는 휴머노이드, 4족 보행 로봇, 로봇 암을 포함한 여러 구현체 전반에 걸쳐 수천 개의 로봇 인스턴스로 대규모 시뮬레이션을 생성했으며, 각기 다른 형태를 가진 이 로봇들을 수천 개의 환경에 배포하여 일반화를 극대화했습니다. 이 합성 데이터 생성 학습은 옴니바디 두뇌를 구동하여 AI 모델이 특정 하드웨어 구성에 대한 솔루션을 암기하는 것을 방지하고, 대신 모든 로봇 유형 전반에 걸쳐 보편적으로 작동하는 컨텍스트 내 학습 전략을 개발하도록 강요합니다.

고급 시뮬레이션을 통한 합성 데이터 생성은 Skild AI의 기술 스택의 핵심 축을 나타냅니다. 이 회사는 물리학 기반 시뮬레이션을 통해 수십억 개의 학습 예제를 생성하여 로봇이 실패 시나리오를 안전하고 광범위하게 경험할 수 있도록 지원합니다.

이는 로봇이 성공할 수 있는 방법은 제한적인 반면 실패할 수 있는 방법은 무수히 많아 기존의 데이터 수집 방식으로는 모든 실패 시나리오를 포착하는 것이 불가능하기 때문에 필수적입니다. Cosmos Transfer를 통해 Skild AI는 텍스트 프롬프트를 통해 데이터셋을 확장 및 곱할 수 있으며, 다양한 환경 조건, 조명 시나리오, 비주얼 기능을 생성하여 학습 견고성을 극대화할 수 있습니다. 시뮬레이션을 통해 로봇은 올바른 접근 방식을 마스터하기 전에 다양한 환경에서 수백만 건의 장애를 안전하게 경험할 수 있으며, 실제 배포에 필요한 견고성을 구축합니다.

이 모델은 기계적 변화에 대한 탁월한 적응력을 보여주며, 실패를 경험하는 대신 바퀴 끼임은 2~3초 내에, 다리 파손은 몇 번의 시도 후 복구합니다. 이러한 탄력성은 학습 매개변수를 초과하는 확장된 다리-몸 비율로 스틸트를 걷는 것을 포함한 극단적인 시나리오로 확장되며, 진정한 일반화 기능을 보여주는 제로샷 학습 형태입니다.

두 번째 주요 부분은 인간 영상으로부터 학습하는 것입니다. 실제 세계의 다양성을 포착하기 위해 Skild AI는 플랫폼 전반에 걸쳐 다양한 작업을 수행하는 사람을 보여주는 온라인으로 제공되는 수조 개의 영상을 활용합니다. 인간을 생물학적 로봇으로 취급함으로써 어포던스를 추출하는 고급 기술을 개발하여 로봇 두뇌가 인간의 상호작용을 관찰하여 물체를 조작하는 방법을 이해할 수 있도록 지원합니다.

NVIDIA의 AI 컴퓨팅 인프라는 여러 데이터 모달리티에 걸쳐 로보틱스 파운데이션 모델을 동시에 학습하는 데 필요한 대규모 컴퓨팅 요구 사항을 지원합니다. NVIDIA의 가속 컴퓨팅 및 시뮬레이션 라이브러리 및 프레임워크는 함께 Skild AI가 비용 효율적인 하드웨어로 획기적인 결과를 달성할 수 있도록 지원하는 기본 인프라를 구축하며, 25만 달러 이상의 투자를 필요로 하는 기존 로봇 시스템에 비해 4,000~15,000달러의 비용이 드는 로봇을 개발합니다.