엔비디아, 로봇 본체에서 도는 40억 파라미터 월드모델 '코스모스 3 엣지' 공개… 두산로보틱스도 평가 참여

엔비디아가 월드 파운데이션 모델을 데이터센터에서 로봇 본체로 내려보냈다. 엔비디아는 2026년 7월 20일 컴퓨터그래픽스 학회 시그래프에서 40억 파라미터 규모의 개방형 모델 '코스모스 3 엣지(Cosmos 3 Edge)'를 공개하고, 데이터센터 GPU 없이 젯슨 토르 컴퓨터에서 장면을 추론하고 로봇 동작을 실시간으로 출력할 수 있다고 밝혔다.

코스모스 3 엣지는 코스모스 3 모델군 세 가지 가운데 가장 작다. 엔비디아는 5월 31일 GTC 타이베이에서 640억 파라미터 '슈퍼'와 160억 파라미터 '나노'를 먼저 내놓고 엣지는 출시 예정으로 예고했다. 세 모델 모두 텍스트, 이미지, 영상, 주변 소리, 동작을 이해하고 생성하는 '트랜스포머 혼합(mixture-of-transformers)' 구조를 쓴다. 엣지는 추론을 맡는 자기회귀 타워와 예측을 맡는 확산 타워를 결합했고, 언어, 영상, 음성, 동작 토큰이 주의(attention) 계층을 공유한다. 추론부는 네모트론 기반 20억 파라미터 모델이다.

가중치는 허깅페이스에, 추론과 사후 학습 코드는 깃허브에 공개됐다. 엔비디아는 엣지가 새로 나온 젯슨 T2000, T3000을 포함한 젯슨 모듈과 RTX PRO, DGX, 지포스 RTX GPU에서 돌아간다고 밝혔다. BF16 정밀도 기준 젯슨 토르에서 약 9GB를 차지한다. 엔비디아 기술 블로그에 따르면 젯슨 AGX 토르 T5000에서 향후 동작 32개 묶음을 약 1.53초 만에 생성하고, 한 묶음은 15Hz 기준 약 2.13초 분량의 로봇 움직임에 해당한다. 로봇이 묶음 앞부분을 실행하는 사이 다음 계획을 세우는 방식이어서 기존 계획이 끝나기 전에 새 계획이 준비된다.

영상 분석에서는 RTX 시스템에서 1080p 영상을 최소 22밀리초, L40 GPU에서 약 30밀리초에 분석하며, 같은 파라미터급에서 영상 분석 벤치마크 VANTAGE-Bench 1위를 기록했다고 엔비디아는 밝혔다. 코스모스 3 모델의 단계 증류 버전도 함께 내놨다. 노이즈 제거 단계를 50단계에서 4단계로 줄여 품질 손실을 최소화하면서 추론 속도를 25배 높였다는 설명이다.

로봇 제어 성능은 상대적으로 낮고, 엔비디아는 이를 그대로 공개했다. 프랑카 판다 로봇팔과 로보티크 그리퍼로 수집한 데이터셋 'Cosmos3-DROID'(성공한 원격조작 궤적 7만6000건, 86개 과제, 564개 장면, 약 350시간)로 사후 학습한 엣지는 폐루프 평가 RoboLab의 언어 지시 조작 과제 120개에서 22.9%의 성공률을 기록했다. 기준 사후 학습에는 GB200 4개짜리 노드 64개로 6만 회 반복, 약 68시간이 들었다.

엔비디아는 코스모스 3 엣지를 평가 중인 로봇 기업으로 애자일로보츠, 두산로보틱스, 지멘스, 스킬드AI를 꼽았고, 스마트 인프라 영상 에이전트 분야에서는 센티픽, 바이디오, YUAN을 들었다. 5월 출시 때는 코스모스 3의 로봇 분야 도입 기업으로 애자일로보츠, 두산로보틱스, LG전자, 삼성전자, 스킬드AI를, 자율주행 분야로 리오토를 공개했다. 스킬드AI는 애자일로보츠, 블랙포레스트랩스, 제너럴리스트, LTX, 런웨이와 함께 엔비디아 코스모스 연합의 창립 회원이다.

국내 기업에는 의미가 작지 않다. 코스모스 3 도입 기업 명단 다섯 곳 가운데 세 곳이 한국 기업이고, 두산로보틱스는 엣지 평가 기업 네 곳에도 들었다. 협동로봇에 영상 이해와 동작 생성을 함께 하는 모델을 본체에서 돌릴 수 있다면 클라우드 연결 없이 공장 영상을 현장에 둔 채 지능화를 추진할 수 있다. 국내 제조 현장의 데이터 보안 요구와도 맞는다. 다만 두산로보틱스는 평가 단계라고만 공개됐고 제품 탑재 계획은 밝혀지지 않았다.

목표 하드웨어도 전략의 일부다. 엔비디아가 6월 1일 발표한 아이작 GR00T 연구용 휴머노이드에 들어가는 젯슨 AGX 토르 T5000은 FP4 기준 2070테라플롭스 성능과 128GB 통합 메모리를 40~130W 전력 범위에서 제공한다. 9GB짜리 월드모델을 올려도 인지, 안전, 별도 동작 정책을 돌릴 여유가 남는다. 이 연구용 휴머노이드는 유니트리의 H2 플러스를 기반으로 하며 2026년 말 유니트리를 통해 공급될 예정이다.

경쟁 구도는 개방과 폐쇄로 갈린다. 열흘 뒤 나온 구글 딥마인드의 제미나이 로보틱스 2는 온디바이스 동작 모델을 신뢰 테스터에게만 제공한다. 스킬드AI는 S1을 얼리액세스 신청으로 제공한다. 엔비디아는 코스모스 3 엣지와 상업 라이선스가 붙은 30억 파라미터 GR00T N1.7의 가중치를 무료로 풀고, 이를 학습하고 돌리는 데 필요한 젯슨, RTX, 데이터센터 하드웨어로 수익을 거둔다.

월드모델은 쉽게 말해 장면이 다음에 어떻게 바뀔지 예측하는 모델이다. 코스모스 3 엣지는 이 능력을 두 방향으로 쓴다. 영상을 생성하거나 분석하고, 장면을 목표 쪽으로 움직일 모터 명령을 예측한다. 둘 다 로봇 위에서 돌리면 클라우드 호출 지연이 사라지고 카메라 영상이 현장 밖으로 나가지 않는다.

한계는 엔비디아 자체 수치에 드러난다. GB200 256개로 68시간을 학습시킨 뒤 폐루프 성공률이 22.9%라는 것은 엣지가 상용 조작 정책이 아니라 연구와 시제품용 기반이라는 뜻이다. 1.53초의 추론 시간은 느린 탁상 작업에는 맞지만 빠른 동적 동작에는 부족하다. 검토한 공개 자료에서 엔비디아는 코스모스 3 엣지의 상업 사용 라이선스 조건과 실제 양산 적용 사례를 밝히지 않았다.