VLA(비전-언어-행동) 모델이란 무엇이고 누가 만드나

VLA(Vision-Language-Action, 비전-언어-행동) 모델은 카메라 영상과 "컵을 싱크대에 넣어" 같은 자연어 지시를 한꺼번에 입력받아 로봇이 다음에 실행할 모터 명령을 출력하는 하나의 신경망이다. 사진을 설명할 줄 아는 비전-언어 모델(VLM)을 출발점으로 삼아 로봇 시연 데이터로 추가 학습시키면, 출력이 글자 대신 관절 각도와 그리퍼 개폐 같은 움직임으로 바뀐다.

이 용어는 2023년 7월 구글 딥마인드가 arXiv 프리프린트로 공개한 RT-2에서 본격적으로 쓰이기 시작했다. 논문에 따르면 웹 이미지와 로봇 데이터를 함께 학습한 RT-2는 처음 보는 물체와 환경에서 성공률이 약 62%로, 이전 모델 RT-1의 32%의 두 배 수준이었다. 3년이 지난 지금 이 분야는 구글 딥마인드, 피지컬 인텔리전스, 엔비디아, 피규어 AI, 스킬드 AI, 중국 즈위안(AgiBot)이 이끌고 있고, 한국 정부는 올해 5월 KIST와 LG 계열사가 참여하는 504억 원 규모 휴머노이드 모델 사업을 시작했다. 이 글은 VLA의 작동 원리와 기존 로봇 프로그래밍, 월드 모델과의 차이, 주요 개발사, 그리고 한국 제조업에 왜 데이터가 관건인지를 차례로 짚는다.

픽셀과 문장이 모터 명령이 되는 과정

대부분의 VLA는 세 부분으로 이뤄진다. 비전 인코더가 카메라 프레임을 시각 토큰으로 바꾸고, 사전학습된 언어 백본이 이 토큰과 지시문, 로봇 관절 상태를 함께 읽는다. 마지막으로 액션 헤드가 백본의 내부 표현을 관절, 그리퍼, 바퀴를 움직일 숫자로 변환한다. 엔비디아가 공개한 GR00T N1 모델 카드는 이 구조를 그대로 보여준다. 224×224 화소 영상을 읽는 SigLIP 2 비전 트랜스포머, T5 텍스트 인코더, 로봇 몸체마다 바뀌는 상태 처리망, 그리고 동작을 생성하는 디퓨전 트랜스포머로 구성됐다고 엔비디아는 설명했다.

VLM에서 출발하는 이유는 지식 전이다. 방대한 웹 이미지로 학습한 백본은 이미 가정과 공장의 물건 대부분을 알아보기 때문에, 로봇 학습 때 한 번도 보지 못한 물체도 다룰 수 있다. RT-2 연구진은 로봇이 탁자 위에서 가장 작은 물건을 고르거나 웹에서만 본 숫자 위로 캔을 옮기는 등 새로 생긴 능력 평가에서 60%의 성공률을 기록해 RT-1의 17%를 크게 앞섰다고 밝혔다. 남는 문제는 신경망이 움직임을 어떤 형식으로 표현하느냐다.

토큰이냐 흐름이냐, 동작을 내보내는 두 방식

초기 VLA는 움직임을 단어처럼 다뤘다. 논문에 따르면 RT-2는 그리퍼의 위치와 회전 6개, 그리퍼 개폐 1개, 작업 종료 1개 등 8개 동작 차원을 각각 256개 구간으로 나눠, 동작 하나를 언어 모델이 글자처럼 출력하는 짧은 토큰 열로 만들었다. 2024년 6월 스탠퍼드 주도 연구진이 가중치를 공개한 70억 파라미터 OpenVLA도 같은 방식을 썼고, 29개 작업에서 구글의 550억 파라미터 RT-2-X보다 성공률이 16.5%포인트 높았다고 보고했다.

토큰 방식은 정밀 작업에는 느리고 거칠다. 가장 큰 RT-2는 초당 1~3회(1~3Hz) 제어에 그쳤다. 피지컬 인텔리전스가 2024년 10월 31일 프리프린트로 공개한 π0는 30억 파라미터 PaliGemma 백본에 3억 파라미터 규모의 별도 '액션 전문가'를 붙이고, 이미지 생성 AI의 디퓨전 기법과 같은 계열인 플로 매칭으로 학습시켰다. 무작위 잡음에서 출발해 10단계에 걸쳐 앞으로 50스텝 분량의 동작 묶음을 다듬어 내는 방식으로, 최대 50Hz 제어가 가능하다고 회사는 설명했다.

세 번째 설계는 생각과 반사신경을 나눈다. 피규어 AI가 2025년 2월 20일 발표한 Helix는 7~9Hz로 도는 70억 파라미터 VLM과 200Hz로 도는 8000만 파라미터 정책을 짝지어, 로봇에 탑재한 GPU 2개로 35자유도를 제어한다고 회사는 밝혔다. 엔비디아는 이를 시스템2와 시스템1이라 부르고, 즈위안이 2026년 9월 8일 공개한 GO-2도 느린 의미 계획 모듈과 빠른 동작 추종 모듈을 비동기로 묶었다. 이런 계층 구조가 VLA를 기존 공장 로봇 소프트웨어와 가르는 지점이다.

티칭 프로그래밍과도, 월드 모델과도 다르다

전통적인 산업용 로봇은 점 단위로 프로그래밍한다. SI 업체가 티칭 펜던트로 경유점을 입력하거나 오프라인으로 경로를 짜면, 부품 위치가 바뀌거나 라인을 개조할 때까지 같은 동작을 반복한다. VLA는 이 스크립트를 매 순간 장면을 읽는 학습된 정책으로 대체해 어수선한 작업대나 새 물체에 대응하지만, 인증이 쉬운 엄격한 반복 정밀도는 그만큼 포기한다. 일본 야스카와전기는 2026년 7월 MOTOMAN NEXT에 구글 딥마인드의 Gemini Robotics ER 1.6을 얹어 세부 티칭 없이 상위 지시만으로 작업을 계획하되, 비전과 경로 계획, 힘 센싱은 기존 로봇 기능이 맡는 구조를 택했다고 밝혔다.

월드 모델은 다른 질문에 답한다. 로봇이 어떤 행동을 하면 장면이 어떻게 바뀔지를 주로 영상으로 예측하고, 합성 학습 데이터를 만들거나 실제 장비에 올리기 전 정책을 시험하는 데 쓰인다. 런웨이는 9월 30일 자사 월드 모델 안에서의 정책 결과와 실제 결과의 상관계수가 0.95라고 밝혔다. 다만 경계는 흐려지고 있다. 런웨이는 신모델 Praxis-1을 로봇 제어를 직접 출력하는 '월드 액션 모델'이라 부르고, 제너럴리스트 AI는 로봇 데이터 없이 착용형 기기로 모은 50만 시간 이상의 사람 동작 데이터로 GEN-1을 사전학습했다고 밝혔다.

누가 만들고, 누가 공개하나

구글 딥마인드는 2025년 3월 12일 Gemini 2.0 기반 Gemini Robotics를 공개하며 앱트로닉을 휴머노이드 파트너로 내세웠고, 2026년 7월 30일에는 휴머노이드 전신 제어용 Gemini Robotics 2를 내놨다. 동작 모델은 여전히 파트너와 신뢰 테스터에게만 제공된다. 피지컬 인텔리전스는 반대 길을 택해 openpi 저장소에 π0, π0-FAST, 2025년 9월부터는 π0.5를 Apache 2.0 라이선스로 올렸다. 엔비디아는 2025년 3월 18일 GR00T N1을 비상업 라이선스로 공개했고, 30억 파라미터 GR00T N1.7은 엔비디아 오픈 모델 라이선스로 허깅페이스 LeRobot에 들어갔다. 피규어는 Helix를 자사 로봇에만 쓰고, 스킬드 AI는 Skild Brain과 S1을 현장 배치 형태로 판다.

공개 여부는 사업 전략이다. openpi 기준으로 LoRA 미세조정에는 22.5GB 이상의 GPU 메모리면 충분해 RTX 4090 한 장으로도 가능하다. 대학과 중소 로봇 업체에는 문턱이 낮아진 셈이다. 폐쇄형은 데이터 선순환과 고객 관계를 모델 소유자가 쥔다. 두 진영이 진짜로 갈라지는 곳은 데이터 비용이다.

비용의 핵심은 구조가 아니라 데이터

챗봇과 달리 VLA는 학습 데이터를 웹에서 긁어올 수 없다. 로봇 시연 데이터는 대부분 사람이 로봇을 원격조종하며 모은다. 피규어는 Helix 학습에 약 500시간의 원격조종 데이터를 썼고, 피지컬 인텔리전스는 π0에 7종 로봇 구성과 68개 작업에 걸친 1만 시간 이상을 투입했다. 스킬드 AI는 8월 4분이 넘는 작업 하나의 시연 380회를 모으는 데 원격조종 50~100시간이 든다며, 자사 S1은 영상 한 편으로 비슷한 효과를 낸다고 주장했다.

엔비디아는 11시간 만에 합성 궤적 78만 개를 생성했고 이는 사람 시연 약 6500시간에 해당하며, 실제 데이터와 섞어 GR00T N1 성능을 40% 끌어올렸다고 밝혔다. 한국에서는 LG가 8월 엔비디아와 협력 MOU를 맺으면서 양재 캠퍼스 1만㎡ 데이터 팩토리에서 연말까지 10만 시간의 데이터를 확보하겠다고 밝혔다. 정부도 6월 발표한 AI 로봇 3M 전략에서 10개 업종 데이터 팩토리를 과제로 넣었다.

한국 업체의 모델 전략도 구체화하고 있다. 과기정통부의 K-문샷 사업은 KIST의 KAPEX 휴머노이드를 바탕으로 시각, 촉각, 언어, 행동을 합친 VHLA 모델을 2030년까지 개발하고, LG전자와 LG AI연구원, LG에너지솔루션이 참여한다. LG는 2027년 1분기 엔비디아 Jetson Thor와 Isaac GR00T 기반 이족보행 휴머노이드를 공개할 계획이고, 두산로보틱스는 2027년 에이전틱 로봇 OS 솔루션과 2028년 산업용 휴머노이드를 내놓겠다고 밝혔다.

돈은 어디로 갔나

스킬드 AI는 2026년 1월 140억 달러 이상의 기업가치로 14억 달러를 유치했고, 피규어 AI는 2025년 9월 투자 후 가치 390억 달러에 10억 달러를, 제너럴리스트 AI는 2026년 6월 4억 달러를 조달했다고 각각 밝혔다. 이 가운데 매출을 공개한 곳은 스킬드뿐으로, 9월 10일 연간 반복매출(ARR) 1억 달러와 유료 고객 60곳 이상을 확보했다고 발표했다.