NVIDIA Cosmos

이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.

NVIDIA Cosmos는 로봇 AI에서 가장 비싼 질문을 겨냥해. 현실 데이터를 충분히 모으기 어렵다면, 가상 세계와 합성 데이터를 어디까지 믿고 훈련에 쓸 수 있느냐는 질문이야.

NVIDIA는 Cosmos를 Physical AI 개발을 빠르게 하는 세계 모델 계열로 밀고 있어. 여기서 중요한 것은 영상 생성 데모가 아니라, 로봇·자율주행·비전 AI 연구자가 데이터 생성, 시뮬레이션, 정책 훈련, 평가를 반복하는 작업 흐름 안에 Cosmos가 들어간다는 점이야.¹

한 줄로 말하면

NVIDIA Cosmos는 로봇과 자율주행 같은 물리 세계 AI가 부족한 현실 데이터를 보완하려고 쓰는 세계 모델·합성 데이터·시뮬레이션 도구 묶음이야.

무엇인가

확인된 범위에서 Cosmos는 하나의 앱이라기보다 NVIDIA의 물리 AI 스택 안에 들어가는 모델·도구 계열에 가까워. NVIDIA는 Cosmos 3를 물리 AI용 open frontier model로 소개하고, 시각 추론, 세계 생성, 행동 생성을 묶는 omnimodel이라고 설명했어.¹

Cosmos가 놓이는 자리는 명확해. 실제 세계에서 로봇 데이터를 모으는 일은 비싸고 느려. 위험한 상황, 드문 결함, 복잡한 조명, 사람과 물체가 섞인 장면을 충분히 모으려면 시간과 비용이 많이 든다. Cosmos는 이런 빈칸을 합성 데이터, 장면 변형, 세계 예측, 정책 평가로 메우려는 도구로 읽힌다.

flowchart LR
    A["현실 데이터"] --> B["세계 모델"]
    B --> C["합성 장면·시나리오"]
    C --> D["시뮬레이션·정책 훈련"]
    D --> E["실물 배포 전 평가"]

왜 계속 등장하는가

첫째, Cosmos는 NVIDIA가 로봇 시장을 단일 모델보다 개발 루프로 본다는 신호야. 물리 AI 스킬 발표에서 Cosmos 3는 Omniverse, Isaac Sim, Isaac Lab, Metropolis 같은 도구와 함께 언급됐어. 데이터 생성부터 평가까지 이어지는 반복 루프 안에 들어가는 부품이라는 뜻이야.¹

둘째, Cosmos는 sim-to-real gap과 직접 맞닿아 있어. 가상에서 만든 데이터와 정책이 현실의 마찰, 센서 잡음, 조명, 예상 밖 행동까지 버틸 수 있느냐가 핵심이야. 그래서 Cosmos를 볼 때는 “영상을 그럴듯하게 만들었나”보다 “실제 정책의 실패를 줄였나”가 더 중요해.

셋째, Cosmos는 NVIDIA 스택의 잠금 효과를 키울 수 있어. 개발자가 LeRobot이나 산업 파트너십을 통해 들어와도, 데이터 생성과 시뮬레이션의 기본 경로가 Cosmos, Isaac, Omniverse, Jetson 쪽으로 이어질 수 있기 때문이야. 이건 오픈 모델과 플랫폼 의존성이 동시에 생기는 지점이야.

이 대상을 볼 때의 핵심 축

• 모델의 실제 역할. Cosmos가 세계를 예측하는 foundation model인지, 합성 데이터를 만드는 도구인지, post-training을 돕는 라이브러리인지, 버전마다 경계를 확인해야 해.
• 데이터 부족을 메우는 정도. 현실 데이터를 덜 모아도 같은 성능을 내는지, 아니면 단지 실험 장면을 더 많이 만드는지 봐야 해.
• 현실 전이. closed-loop simulation이나 실물 로봇 평가에서 실패율이 줄었는지가 핵심이야.
• 배포 통로. Hugging Face LeRobot, 두산 같은 파트너가 Cosmos를 실제 개발 흐름에 넣는지 봐야 해.
• 개방성과 의존성. 공개 모델·데이터셋이 넓어질수록 연구 접근성은 좋아질 수 있지만, 그 작업대의 중심이 NVIDIA 도구로 굳을 수도 있어.

최근 관찰된 신호

2026년 CVPR 발표에서 NVIDIA는 물리 AI용 에이전트 스킬이 Cosmos 3, Omniverse, Isaac Sim, Isaac Lab, Metropolis와 붙어 데이터 생성, 시뮬레이션, 정책 훈련, 평가를 돕는다고 설명했어.¹ 특히 Cosmos 3의 mixture-of-transformers 구조가 관찰을 분석하고 생성 쪽에 지시를 넘겨, 물리적으로 그럴듯한 가상 세계를 더 많이 만들게 돕는다고 말했다.

LeRobot 협업에서는 Cosmos 3가 아직 들어온 기능이 아니라 들어올 예정인 기능으로 제시됐어.² NVIDIA와 Hugging Face는 Cosmos 3가 현실 데이터를 많이 모으기 어렵거나 비쌀 때 로봇 데이터 생성, 시나리오 시뮬레이션, 정책 개발을 도울 수 있다고 설명했다.

두산 협업에서도 Cosmos는 Isaac Sim, Isaac Lab, Newton 물리 엔진, Jetson Thor와 함께 두산로보틱스의 Agentic Robot OS에 붙을 도구로 언급됐어.³ 이 신호는 Cosmos가 연구 데모에만 머무르는지, 산업 파트너의 로봇 개발 흐름으로 내려가는지를 볼 관찰점이야.

헷갈리지 말아야 할 점

• Cosmos는 로봇 그 자체가 아니야. 로봇 몸체나 최종 제품이 아니라, 로봇을 훈련하고 평가하는 세계 모델·데이터 생성 층에 가깝다.
• 합성 데이터는 성능 증명이 아니야. 더 많은 장면을 만들었다는 말과 현실 로봇의 실패율이 줄었다는 말은 다르다.
• 오픈 모델은 중립 플랫폼을 뜻하지 않아. 공개 모델이더라도 훈련·평가·배포 절차가 NVIDIA 도구에 묶이면 사실상의 기본 경로가 생길 수 있어.
• Cosmos 3의 LeRobot 통합은 아직 예정 신호야. 발표문 기준으로 GR00T 1.7과 Isaac Teleop은 들어왔지만, Cosmos 3는 뒤따라 붙일 계획으로 소개됐다.

이어서 읽기

Cosmos가 놓인 큰 기술 틀은 Physical AI, foundation model, sim-to-real gap에서 보면 좋아. NVIDIA가 Cosmos를 어떤 작업 흐름에 넣으려 하는지는 물리 AI 스킬 발표와 LeRobot 협업이 가장 직접적이야.

회사 전략 쪽에서는 NVIDIA를 같이 읽어야 해. Cosmos가 실제 산업 파트너로 내려가는지 보려면 두산 협업과 앞으로 나올 로봇 회사의 배포 사례를 따라가면 된다.

남은 질문들

• Cosmos 3 모델군은 어떤 입력과 출력을 갖고, 각 모델은 어떤 작업에 쓰이나?
• Cosmos의 라이선스와 안전 제한은 연구·상업 배포에서 어떤 제약을 만드나?
• 독립 연구팀이 Cosmos를 써서 로봇 정책 실패율이나 데이터 수집 비용을 실제로 줄였나?
• LeRobot 안에서 Cosmos 3 통합은 언제 실사용 기능으로 내려오나?
• Doosan 같은 산업 파트너의 로봇 운영체제에서 Cosmos는 어떤 모듈로 쓰이나?
• Cosmos와 Isaac Sim, Isaac Lab, Omniverse, Metropolis의 역할 경계는 어떻게 나뉘나?

각주

1. NVIDIA/Pranjali Joshi, 「NVIDIA Enables the Next Era Of Physical AI Research With Agent Skills For Autonomous Vehicles, Robotics And Vision AI」(2026-06-03) NVIDIA Blog. ↩︎ ↩︎² ↩︎³ ↩︎⁴

2. NVIDIA/Sasa Docca, 「NVIDIA and Hugging Face Bring New Models and Frameworks to LeRobot for the Open Robotics Community」(2026-07-06) NVIDIA Blog. ↩︎

3. NVIDIA/Madison Huang, 「NVIDIA and Doosan Group Collaborate to Advance Physical AI and AI Factory Infrastructure」(2026-06-07) NVIDIA Blog. ↩︎