아마존 FAR의 'OmniRetarget', ICRA 2026 최우수 논문상 2관왕… 사람 동작을 휴머노이드 학습 데이터로 바꿨다

아마존의 로봇 연구조직 프런티어 AI 앤드 로보틱스(FAR)가 사람의 움직임을 휴머노이드 학습 데이터로 바꾸는 기법으로 세계 최대 로봇 학회 정상에 올랐다. 6월 1일부터 5일까지 오스트리아 빈에서 열린 IEEE 국제로봇자동화학회(ICRA 2026)에서 논문 OmniRetarget이 최우수 학회 논문상(Best Conference Paper Award)과 로봇 조작 및 이동 부문 최우수 논문상을 동시에 받았다고 프로젝트 페이지와 IEEE 로봇자동화학회(RAS)가 밝혔다.

저자는 9명이다. 제1저자 공동 기여자인 루지에 양, 샤오위 황, 전 우와 함께 앙주 가나자와, 피터 아빌, 카르멜로 스페라차, C. 캐런 리우, 로키 두안, 궈야 스(Guanya Shi)가 이름을 올렸다. 전원이 아마존 FAR 소속을 표기했고 일부는 MIT, UC버클리, 스탠퍼드대, 카네기멜런대 소속을 겸했다. 논문은 2025년 9월 30일 아카이브(arXiv)에 처음 공개됐고 2026년 6월 15일 세 번째 버전이 올라왔다.

연구가 겨냥한 지점은 강화학습으로 휴머노이드를 훈련하는 모든 기업이 부딪히는 병목이다. 통상 사람의 동작을 모션캡처로 기록해 로봇 골격에 옮긴 뒤 이를 제어 정책의 기준 동작으로 쓴다. 그런데 로봇은 팔다리 길이와 질량, 관절 가동 범위가 사람과 달라 기존 방식으로 옮기면 발이 바닥에서 미끄러지거나 손이 물체를 관통하는 등 물리적으로 불가능한 동작이 생긴다고 연구진은 지적했다. 사람이 상자나 의자, 벽을 어떻게 짚었는지 같은 상호작용 정보도 사라진다.

해법은 '상호작용 메시'다. 몸의 여러 지점과 주변 물체, 지형을 연결해 상대 위치와 접촉 정보를 기록하고, 라플라시안 변형으로 사람 메시를 로봇 메시에 옮기면서 기구학적 제약을 강제한다고 논문 초록은 설명했다. 자세를 그대로 베끼는 대신 관계를 보존하기 때문에 시연 한 번으로 물체 크기와 위치, 지형 높이, 로봇 기종을 바꾼 여러 변형을 만들 수 있다고 IEEE RAS는 전했다.

연구진은 공개 데이터셋 OMOMO와 LAFAN1, 자체 모션캡처 데이터에 이 기법을 적용해 8시간 이상의 로봇 궤적을 만들었다고 논문에 적었다. 프로젝트 페이지는 9시간 이상으로 표기했다. 데이터셋은 허깅페이스에, 코드는 아마존 FAR의 holosoma 저장소에 공개했고, 비교 대상으로는 널리 쓰이는 리타기팅 기법 GMR과 PHC를 택했다.

이 데이터로 학습한 강화학습 정책은 보상 항목 5개와 도메인 무작위화 항목 4개만 썼고 고유수용성 감각(관절 각도, 관성 정보 등)에만 의존했다고 프로젝트 페이지는 밝혔다. 키 약 1.3m의 유니트리 G1은 시뮬레이션에서 실제 환경으로 추가 학습 없이(zero-shot) 옮겨진 정책으로 최장 30초 길이의 파쿠르와 이동 조작 동작을 수행했다. 상자 나르기, 단상 오르기, 기어가기, 구르기, 벽 차고 공중제비가 포함됐다.

올해 ICRA는 11개 시상 그룹에 36편의 결선 논문을 올렸다. 각 기관 발표에 따르면 독일 슈투트가르트대의 다중 로봇 목재 가공 스케줄러 LASER가 6월 4일 최우수 학생 논문상을, 미국 시카고 도요타기술연구소(TTIC)와 도요타연구소(TRI), 존스홉킨스대의 카메라 조건부 모방학습 논문이 로봇 학습 부문 최우수 논문상을 받았다.

국내 산업계에도 시사점이 크다. 현대차그룹의 보스턴다이내믹스, LG전자, 레인보우로보틱스 등 휴머노이드를 준비하는 기업은 모두 물리적으로 타당한 전신 동작 데이터를 대량으로 확보해야 한다. 보스턴다이내믹스는 5월 18일 블로그에서 아틀라스가 GPU 기반 시뮬레이션에서 수백만 시간 동안 냉장고 들기를 연습한 뒤 실제로 100파운드가 넘는 짐을 옮겼다고 밝혔다. OmniRetarget은 그 시뮬레이션에 들어가는 기준 동작의 품질을 끌어올리는 기술이다.

한계도 분명하다. 루지에 양은 IEEE RAS 인터뷰에서 원본 동작의 오류, 예컨대 잘못 기록된 손 위치는 자동으로 고치지 못한다고 말했다. 실제 로봇 실험은 한 기종에 그쳤고 정책이 시각 정보 없이 고유수용성 감각만 썼다는 점에서 장면 형상을 미리 알고 있어야 한다는 제약도 있다.