로봇에 새 집게를 달면, 그 로봇은 다시 배워야 했어. 손가락 수와 길이, 물체를 누르는 각도가 달라지면 전에 익힌 동작이 그대로 통하지 않기 때문이지.
NVIDIA가 CVPR에서 공개한 세 연구는 이 문제를 서로 다른 자리에서 다뤄. 로봇 손에는 처음 보는 집게를, 자율주행차에는 처음 보는 도로 상황을, 가상 에이전트에는 처음 보는 세계를 맡기는 식이야. 공통된 목표는 한 번 잘하는 AI가 아니라, 다음 환경에서도 다시 배울 일을 줄이는 거야.1
손이 바뀌면 다시 배워야 했어
로봇 손은 로봇 손의 모양이 바뀌기만 해도 훈련부터 다시 하는 경우가 많아. 두 손가락 집게로 배운 정책은 여러 손가락 손에 바로 쓰기 어렵고, 반대도 마찬가지지.
GraspGen-X는 이 재훈련을 줄이려는 연구야. 연구진은 수천 가지 물체 모양과 인공으로 만든 집게 구성을 놓고 20억 개의 가상 잡기를 만들었어. 처음 보는 물체와 집게의 기하 정보를 받으면, 어디를 어떤 각도로 잡을지 후보 자세를 내놓는 방식이야.1
여기서 확인된 건 아주 많은 가상 접촉 사례로 집게 모양의 차이를 다루려 했다는 점이야. 다만 발표문은 이 모델이 실제 공장이나 가정에서 얼마나 오래 작동했는지, 집게를 바꿨을 때 사람이 어느 정도 손봐야 하는지는 보여주지 않아. 가상 훈련이 실물에서 얼마나 남는지는 여전히 sim-to-real gap의 문제로 남아 있어.
차 안의 사고는 문장보다 빨라
자율주행차도 비슷한 문제를 다른 제약 아래에서 만나. 차 안의 컴퓨터는 데이터센터처럼 길게 글을 쓰며 생각할 시간이 없어. 한 장면을 잘 이해하는 것만으로는 부족하고, 그 판단이 차 안의 하드웨어에서 제때 나와야 하지.
LCDrive는 사람에게 읽히는 문장 대신, 공간 정보를 압축한 내부 상태로 다음 행동과 그 뒤의 세계를 번갈아 예측해. 연구진은 이 방식이 글로 추론하는 모델과 비슷한 궤적 품질을 내면서 토큰은 약 절반 쓴다고 설명해.1 행동 뒤의 장면을 다시 예측한다는 점에서는 폐루프 평가가 던지는 질문과 닿아 있어. 다만 토큰이 줄었다는 결과가 도로 위 안전까지 증명하는 건 아니야.
가상 세계의 시간도 연습량이 돼
세 번째 연구 NitroGen은 로봇 대신 게임 속 에이전트에서 일반화를 시험해. GR00T N1의 구조를 바탕으로 1,000개가 넘는 게임과 4만 시간 이상의 상호작용으로 모델을 훈련했어. 새 환경의 예시가 적을 때 기존 방법보다 성능이 최대 52% 높았다는 것이 연구진의 결과야.1
게임은 목표와 성공 조건이 또렷하고, 실패해도 다시 돌릴 수 있어. 그래서 다양한 상황을 빠르게 늘리기 좋지. 하지만 게임에서 길 찾기와 물리 로봇이 낯선 물건을 집는 일은 같지 않아. 이 결과는 가상 환경에서의 적응 가능성을 보여주지만, 실물 배포의 증거는 아니야.
같은 전략, 다른 마지막 시험
NVIDIA는 세 연구를 모두 “규모를 키운 훈련”의 성과로 묶어 설명해. 실제로 세 사례에는 많은 가상 잡기, 빠른 내부 추론, 긴 가상 상호작용이라는 공통점이 있어.1
그런데 마지막 시험은 서로 달라. 로봇 손은 낯선 하드웨어에서 물체를 안정적으로 집어야 하고, 차는 짧은 지연 안에 안전하게 움직여야 하며, 에이전트는 새로운 환경에서 목표를 이어가야 해. 훈련량은 출발점일 뿐, 각각의 실물 조건을 넘었다는 증거가 따라와야 해.
다음에 볼 것
GraspGen-X에는 새 집게를 실제 로봇에 붙였을 때의 작업 성공률과 재설정 시간이 필요해. LCDrive에는 토큰 수가 아니라 실제 차량에서의 지연, 위험 상황, 회복 행동이 공개돼야 하고. NitroGen에는 게임 밖의 환경으로 옮겼을 때도 이점이 남는지 봐야 해.
Physical AI를 읽을 때는 데모가 몇 개냐보다, 다음 물체·다음 도로·다음 환경에서도 성능이 남는지를 보면 돼. 이 세 연구는 그 질문을 훈련 규모로 풀려는 시도이고, 아직은 각기 다른 마지막 시험을 앞두고 있어.
댓글