이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.
한 줄로 말하면
closed-loop simulation은 자율주행차나 로봇의 정책, 즉 들어온 감각에 따라 다음 행동을 고르는 규칙을 시뮬레이터 안에서 실제로 움직여 보는 평가야. 정책의 행동이 다음 장면을 바꾸고, 그 바뀐 장면이 다시 다음 행동의 입력이 되는 것이 핵심이야.
비유로 이해하기
운전 시험을 생각해 보자. 미리 찍어 둔 블랙박스 영상을 보며 “여기서는 브레이크를 밟았어야 해”라고 답하는 시험이 있어. 하지만 그 답을 실제로 차에 넣어 보지는 않아. closed-loop simulation은 운전 시뮬레이터에서 직접 핸들을 돌리고 브레이크를 밟아, 그 선택 때문에 차 위치와 주변 상황이 어떻게 달라지는지 끝까지 보는 쪽이야.
이 비유도 한계는 있어. 실제 도로와 시뮬레이터는 같지 않아. 그래서 시뮬레이터에서 잘 달렸다는 결과만으로 실도로 안전을 말할 수는 없어. 다만 행동의 결과가 다음 상황을 바꾸는 문제라면, 고정된 기록만 보고 평가하는 것보다 실패가 어디서 쌓이는지 더 잘 드러낼 수 있어.
정확한 정의
open-loop 평가는 이미 기록된 센서·영상·정답을 바탕으로 정책이 다음 행동을 얼마나 잘 맞히는지 보는 방식이야. 정책의 답이 틀려도 기록 속 다음 장면은 그대로야. 반면 closed-loop simulation에서는 정책의 조향·가속·팔 움직임이 시뮬레이터 상태를 바꾸고, 바뀐 위치·속도·물체 상태가 다음 입력으로 돌아와.
flowchart LR A["가상 환경의 관측"] --> B["정책의 행동 선택"] B --> C["시뮬레이터가 다음 상태 계산"] C --> D["안전·완료·오류 측정"] D --> A
여기서 보는 것은 한 번의 답이 아니라 궤적이야. 처음 몇 초는 자연스러워도, 작은 조향 오차가 누적돼 차선 밖으로 밀려날 수 있어. 로봇도 마찬가지야. 물체를 조금 잘못 짚은 뒤의 접촉과 자세 변화까지 이어서 봐야 과업이 끝났는지 알 수 있어.
왜 중요한가
자율주행과 로봇은 행동이 환경을 바꾸는 문제야. 그래서 다음 장면이 고정된 평가에서는 “그럴듯한 다음 행동”과 “끝까지 안전한 행동”이 갈라질 수 있어. sim-to-real gap이 남아 있는 상황에서는 가상 평가도 현실을 완전히 대신하지 못하지만, 적어도 정책이 만든 결과를 다시 입력으로 받게 해야 누적 오차와 회복 행동을 관찰할 수 있어.
NVIDIA의 물리 AI 스킬 발표도 자율주행·로봇 연구를 데이터 생성, 시뮬레이션, 정책 훈련, 평가의 반복으로 묶어 설명했어. 그 글에는 AlpaSim Closed-Loop End-to-End Driving Challenge도 비교 과제로 언급돼. 다만 그 이름이 붙었다는 사실과, 어떤 평가가 실제 안전이나 배포 성능을 잘 설명한다는 결론은 다른 이야기야.
실제 예시
로보택시가 앞차를 따라가는 장면을 보자. 고정된 기록에서는 앞차가 움직인 경로가 이미 정해져 있으니, 내 정책의 가속이 조금 늦어도 다음 영상은 바뀌지 않아. closed-loop simulation에서는 그 지연 때문에 차 간 거리가 줄고, 그 상태가 다음 판단으로 다시 들어와. 이후 급제동, 충돌 위험, 차선 이탈 같은 결과가 연쇄적으로 나타날 수 있어.
로봇 팔도 비슷해. 상자를 잡으려다 몇 센티미터 빗나가면, 손가락의 접촉과 상자 위치가 달라지고 다음 동작도 달라져. 고정된 정답 궤적과의 거리만 재는 것보다, 실제로 집고 옮겨 과업을 끝냈는지를 보는 이유가 여기에 있어.
헷갈리지 말아야 할 점
- closed-loop가 실물 시험은 아니야. 시뮬레이터의 물리·센서·다른 차량 행동이 현실과 다르면 평가 결과도 낙관적으로 보일 수 있어.
- open-loop가 쓸모없다는 뜻은 아니야. 고정된 데이터로 빠르게 모델을 비교하고 오류를 분류하는 데는 유용해. 둘은 속도와 현실성의 다른 자리에 있어.
- 점수 하나로 안전을 말할 수는 없어. 충돌 여부뿐 아니라 규칙 준수, 과업 완료, 회복 행동, 드문 상황에서의 실패를 어떻게 함께 재는지가 중요해.
관련 문서
- sim-to-real gap — 가상에서 나온 성능을 실물로 옮길 때 남는 간극
- Physical AI — 시뮬레이션과 실물 배포를 함께 다루는 더 큰 흐름
- NVIDIA의 물리 AI 스킬 — 데이터·시뮬레이션·정책 훈련·평가를 묶은 사례
- 로보택시 안전 OS — 차량 안의 정책과 안전 구조를 함께 다루는 사례
남은 질문들
- 자율주행 폐루프 평가는 충돌·규칙 위반·승차감·주행 완료를 어떤 비중과 방식으로 함께 재야 할까?
- 고정된 기록에서 높은 점수를 받은 정책이 폐루프에서 약해지는 대표적인 경우는 무엇일까?
- 로봇의 접촉·마찰·센서 지연을 충분히 반영한 평가가 실제 작업 성공률과 얼마나 맞닿아 있을까?
댓글