KAIST와 크래프톤 참여한 'FlashSAC', RSS 2026 최우수 논문상 수상, 휴머노이드 보행 학습 GPU 1장으로 20분

오프폴리시 강화학습 기법 FlashSAC가 2026년 7월 13~17일 호주 시드니에서 열린 로봇공학 학회 RSS(Robotics: Science and Systems) 2026에서 최우수 논문상(Outstanding Paper Award)을 받았다고 RSS 수상 페이지가 밝혔다. 연구진은 이 기법이 로봇 업계가 주로 쓰는 방식보다 휴머노이드 보행 제어기를 약 10배 빠르게, 소비자용 그래픽카드 한 장으로 학습시킨다고 설명했다.

연구진

저자 13명의 소속은 홀리데이로보틱스, KAIST, 크래프톤, 튜링(Turing Inc), 독일 다름슈타트공대, hessian.AI, 스웨덴 KTH 왕립공대, 독일인공지능연구소(DFKI), 독일로봇연구소(RIG)다. 다름슈타트공대 얀 페터스 교수, KTH 다니카 크라기치 교수, KAIST 주재걸 교수, Hojoon Lee 연구자가 시니어 저자로 참여했다. 논문은 2026년 4월 arXiv 프리프린트(2604.04539)로 먼저 공개됐고 코드는 깃허브 Holiday-Robot 조직에 올라 있다.

핵심 수치

연구진에 따르면 29자유도 유니트리 G1 휴머노이드의 평지 보행 학습에 FlashSAC는 약 20분, 로봇 보행 학습의 표준인 온폴리시 알고리즘 PPO는 약 3시간이 걸렸다. 거친 지형과 계단 오르기는 FlashSAC 약 4시간, PPO 약 20시간이었다. 모든 시간은 엔비디아 RTX 5090 한 장에서 측정했고, 학습된 정책은 시뮬레이션에서 실제 로봇으로 옮겨 검증했다.

GPU 기반 시뮬레이터 4종(IsaacLab, MuJoCo Playground, ManiSkill, Genesis)의 25개 과제에서 FlashSAC는 저차원 과제 15개에서 PPO와 비슷했고, 다지 손 조작과 휴머노이드 보행 등 고차원 과제 10개에서는 PPO를 크게 앞섰다. 사용한 시뮬레이션 스텝은 5천만으로 PPO의 2억보다 적었다. DeepMind Control Suite, MyoSuite, HumanoidBench 등 CPU 기반 40개 과제에서는 과제별 튜닝 없이 PPO, XQC, SimbaV2, TD-MPC2, MR.Q를 꾸준히 앞섰다고 연구진은 밝혔다. 프로젝트 페이지 기준 10개 시뮬레이터, 60개 이상 과제에서 검증했다.

기법 설명

로봇 강화학습은 크게 두 갈래다. PPO 같은 온폴리시 방식은 매번 경험을 버려 비효율적이지만 안정적이다. SAC(Soft Actor-Critic) 같은 오프폴리시 방식은 경험을 저장해 재사용하므로 효율적이어야 하지만 관절이 많은 로봇에서는 학습이 불안정해지기 쉽다. FlashSAC는 SAC의 재사용 장점을 살리면서 불안정성을 잡았다.

방법은 두 가지다. 첫째, 언어모델처럼 규모를 키웠다. 1,024개 병렬 시뮬레이션 환경, 통상 100만 개 대신 1천만 개 전이를 담는 리플레이 버퍼, 6층 250만 파라미터 신경망, 배치 크기 2,048, 데이터 1,024스텝당 2회라는 매우 적은 업데이트 횟수를 썼다. 둘째, 여러 정규화 계층으로 가중치와 내부 특징, 기울기의 크기를 제한해 학습이 불안정 영역으로 빠지지 않게 했다. 고정된 탐색 목표와 반복 노이즈는 로봇이 더 길고 매끄러운 동작을 시도하게 돕는다.

경쟁 구도

PPO는 예측 가능성 덕분에 대부분 휴머노이드 기업의 시뮬레이션 기반 보행 학습 표준으로 쓰여 왔다. TD-MPC2, SimbaV2, MR.Q 같은 빠른 대안은 벤치마크에서는 성과를 냈지만 실제 휴머노이드 적용 사례는 드물었다. FlashSAC는 이 간극을 실제 하드웨어에서 메웠다는 점을 내세운다. 사용된 시뮬레이터 중 엔비디아 IsaacLab은 휴머노이드 업체들이 널리 쓰는 학습 환경이어서 기존 개발 파이프라인에 바로 붙일 수 있다.

국내 업계에 주는 의미

한국 연구진이 로봇 학습 분야 최고 권위 학회의 최우수 논문을 공동으로 이끌었다는 점에서 의미가 크다. 게임사 크래프톤이 피지컬 AI 연구에 이름을 올린 것도 이례적이다. 학습 시간은 곧 엔지니어링 시간이다. 하루 걸리던 보행 제어기 학습이 20분으로 줄면 같은 주에 설계와 보상 함수, 하드웨어 변경을 훨씬 많이 시험할 수 있다. 클러스터 대신 GPU 한 장으로 가능하다는 점은 레인보우로보틱스 같은 국내 휴머노이드 업체와 대학 스핀오프, 스타트업의 진입 장벽을 낮춘다. 성과가 가장 큰 영역이 다지 손과 전신 휴머노이드 같은 고차원 문제라는 점도 업계 투자 방향과 맞아떨어진다.

위험 요인

수치는 연구진 자체 측정이고 '약'으로 표기된 근사치다. 학습 시간 비교는 PPO를 얼마나 잘 튜닝했는지에 따라 달라지며, 논문에서 두 기법의 스텝 예산도 다르다. 실제 로봇 검증은 유니트리 G1 한 기종, 보행 과제에 한정됐다. 접촉이 많은 실제 조작 과제에서도 속도 이점이 유지되는지는 아직 입증되지 않았다.