로봇 파운데이션 모델

이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.

로봇은 오랫동안 한 작업에 맞춰 따로 만들어졌어. 공장에서 상자를 옮기는 팔과 집에서 물건을 정리하는 로봇은 보통 다른 프로그램과 데이터를 필요로 했지. 로봇 파운데이션 모델은 큰 규모의 다양한 데이터를 바탕으로, 여러 로봇과 여러 작업에 옮겨 쓸 수 있는 공통의 행동 모델을 만들려는 접근이야.¹

한 줄로 말하면

로봇 파운데이션 모델은 보고, 말로 된 지시를 이해하고, 몸을 움직이는 과정을 하나의 큰 모델에 묶어 여러 작업과 로봇 몸체에 일반화하려는 모델이야.²

비유로 이해하기

작업별 로봇 프로그램은 악보 한 장만 외운 연주자에 가까워. 정해진 악기와 정해진 곡에서는 잘하지만, 다른 악기를 쥐거나 처음 보는 곡을 만나면 처음부터 다시 배워야 해.

로봇 파운데이션 모델은 악보를 많이 외우는 대신, 음악의 규칙과 여러 악기의 연주법을 같이 배운 연주자를 만들려는 쪽이야. 새 곡을 바로 완벽히 연주한다는 뜻은 아니지만, 낯선 지시와 환경을 만났을 때 처음부터 모든 동작을 다시 짜지 않게 하려는 거지.

여기까지가 이해를 돕는 비유야. 실제 로봇은 악기보다 훨씬 까다로워. 카메라가 본 장면, 말로 받은 지시, 관절과 손의 움직임, 접촉에서 오는 감각이 같은 순간에 맞아야 하고, 작은 오차도 물건을 떨어뜨리거나 사람을 다치게 할 수 있어.

정확한 정의

이 분야에서 foundation model은 방대한 규모의 이질적인 데이터로 학습해 여러 방식의 입력을 이해하고, 긴 순서의 행동을 계획하거나 다른 몸체로 지식을 옮기는 능력을 노리는 신경망 모델을 뜻해.² 로봇에서는 언어 모델(LLM), 시각 모델(VFM), 시각·언어 모델(VLM), 시각·언어·행동 모델(VLA)처럼 입력과 출력의 조합이 조금씩 달라져.

GR00T N1은 이 생각을 보여 주는 한 사례야. 논문은 카메라 영상과 언어 지시를 해석하는 부분, 그 결과를 실시간 운동 명령으로 바꾸는 부분을 함께 학습한 VLA 모델이라고 설명해. 학습에는 실제 로봇의 움직임 기록, 사람 영상, 합성 데이터를 섞었다.¹

flowchart LR
    A[카메라·센서] --> D[장면 이해]
    B[말로 된 지시] --> D
    D --> E[행동 계획]
    E --> F[관절·손·바퀴 제어]
    F --> G[실제 작업]
    G --> A

그림에서 마지막 화살표가 중요해. 로봇은 한 번 답하고 끝나는 챗봇이 아니라, 자기 행동이 바꾼 장면을 다시 보고 다음 동작을 조절해야 해. 그래서 모델 하나의 언어 이해 성능만으로는 충분하지 않아.

왜 중요한가

이 접근이 풀려는 비용은 작업마다 새 데이터를 모으고, 새 제어기를 만들고, 새 로봇 몸체에 맞추는 반복이야. 여러 작업에 쓸 수 있는 표현과 행동 규칙을 먼저 배우면, 새 작업에 필요한 데이터와 조정 시간을 줄일 가능성이 생겨.¹

학계 서베이는 로봇 연구가 고정된 단일 작업 중심에서, 복잡하고 열려 있는 환경에서 적응하는 다기능 시스템 쪽으로 옮겨가고 있다고 정리해. 다만 이 변화가 곧바로 범용 로봇의 완성을 뜻하지는 않아. 같은 서베이가 다루는 공개 과제에는 데이터, 몸체 간 일반화, 실세계 배포가 함께 들어 있어.²

실제 예시

NVIDIA가 공개한 GR00T N1은 휴머노이드에 적용한 사례야. 논문은 여러 로봇 몸체의 시뮬레이션 벤치마크에서 기존 모방학습 기준보다 나은 결과를 보였고, Fourier GR-1에서 언어 지시에 따른 양손 조작을 시연했다고 밝힌다.¹

이 사례를 더 자세히 읽고 싶다면 GR00T N1 정리가 좋아. 더 넓은 맥락에서는 Physical AI가 로봇 모델, 시뮬레이션, 센서와 몸체가 어떻게 한 덩어리로 엮이는지 설명해.

헷갈리지 말아야 할 점

• 큰 모델 하나가 모든 로봇을 바로 움직인다는 뜻은 아니야. 몸체의 관절 구조와 센서, 안전 한계가 다르면 행동을 실제 장비에 맞추는 과정이 필요해.
• 시뮬레이션 성적과 실물 배포는 다르다. 가상 환경에서 배운 동작이 조명, 마찰, 물체 모양이 제각각인 현장에서도 통하는지는 sim-to-real gap이라는 별도 문제를 지나야 해.
• 공개 모델과 공개된 생태계는 같은 말이 아니야. 모델 파일을 열어도 데이터, 평가 방법, 로봇 하드웨어, 안전 절차가 함께 쌓이지 않으면 다른 팀이 같은 성능을 재현하기 어렵다.

관련 문서

• Physical AI
• sim-to-real gap
• 로봇 파운데이션 모델과 GR00T N1
• NVIDIA

남은 질문들

• 서로 다른 로봇 몸체에서 같은 모델이 어느 정도까지 재학습 없이 작동할까?
• 실제 공장과 창고에서 장기간 운용할 때, 성공률과 사람의 개입 빈도는 어떻게 측정해야 할까?
• 실제 로봇 기록, 사람 영상, 합성 데이터는 각각 어떤 작업에서 가장 큰 도움을 줄까?
• 모델이 자신 없는 상황을 알아차리고 멈추거나 사람에게 넘기는 기준은 무엇일까?

각주

1. NVIDIA 외, 「GR00T N1: An Open Foundation Model for Generalist Humanoid Robots」(2025-03-27) arXiv ↩︎ ↩︎² ↩︎³ ↩︎⁴

2. Psiris 외, 「Foundation Models in Robotics: A Comprehensive Review of Methods, Models, Datasets, Challenges and Future Research Directions」(2026-04-16) arXiv ↩︎ ↩︎² ↩︎³