로봇 정책을 평가할 때 가장 쉬운 숫자는 성공률이야. 하지만 10번 중 9번 성공했다는 말만으로는 무엇을 잘했고, 어디서 흔들렸고, 다른 환경에서도 통할지 알기 어려워. NVIDIA가 공개한 시뮬레이션 평가 플랫폼 NVIDIA RoboLab은 이 숫자를 여러 질문으로 쪼개는 데서 출발해.1
성공률만으로는 부족한 이유
현실에서 로봇을 반복 시험하면 느리고 비싸고 재현하기도 어려워. 그래서 대규모 평가는 시뮬레이션을 중간 시험장으로 삼는데, 기존 벤치마크에는 두 가지 문제가 있어. 학습과 평가에 비슷한 시각 환경을 쓰면 로봇이 일반화한 게 아니라 장면을 외운 것일 수 있고, 과제가 고정돼 있으면 여러 모델의 점수가 90%를 넘은 뒤 차이를 가리기 어려워져.1
표본이 너무 작다는 문제도 있어. 70번 실행에서 성공률 90%가 나와도 95% 신뢰구간은 80.5~95.9%까지 벌어진다. 같은 90%라도 1,030번 실행하면 구간이 88.0~91.8%로 좁아진다는 게 NVIDIA가 든 예야. 이 차이는 점수의 소수점보다 먼저, 비교 자체를 믿을 수 있는지 물어봐야 한다는 뜻이야.1
RoboLab이 바꾼 평가 단위
RoboLab은 같은 장면과 과제를 어떤 로봇 몸체나 정책 구조에든 적용할 수 있게 설계했다고 설명해. 특정 로봇의 데이터가 풍부한 연구팀만 유리해지는 문제를 줄이고, 어떤 로봇을 가져오든 같은 과제를 비교하겠다는 접근이야. 물체를 배치하고 언어 지시를 적은 뒤 정책을 실행하는 과정을 몇 분 안에 만들 수 있고, 코딩 에이전트가 새 과제를 생성하도록 돕는 기능도 포함한다고 해.1
초기 RoboLab-120은 탁상 위 집기·놓기 과제 120개로 구성됐어. 과제마다 색·크기·범주를 구분하는 시각 능력, 쌓기·방향 전환·도구 사용을 다루는 절차 능력, 개수·위치·문장 관계를 이해하는 관계 능력을 표시해. 로봇이 과제를 끝냈다는 결과만 세지 않고 어떤 능력에서 막혔는지 보려는 구조야.1
그 결과를 읽는 지표도 성공과 실패 둘로 끝나지 않아. 여러 단계 중 일부를 해냈다면 부분 점수를 주고, 이동 경로의 길이와 부드러움, 속도도 함께 본다. 예를 들어 올바른 물체를 잡았지만 놓는 지점에서 실패한 로봇과 아무것도 하지 않은 로봇을 같은 실패로 취급하지 않는 식이야.1
실패한 순간을 기록한다
RoboLab은 잘못된 물체를 잡은 일, 물체를 떨어뜨린 일, 그리퍼가 부딪힌 일을 사건으로 기록한다고 해. 흥미로운 점은 최종 과업이 성공해도 중간에 잘못된 물체를 잡았다면 그 흔적을 남긴다는 거야. 결과만 보면 성공이지만, 과정까지 보면 회복 동작이 필요했던 정책일 수 있지.1
내장 대시보드는 사건이 일어난 순간과 해당 장면으로 바로 이동하게 해. “성공했나?”에서 끝나는 대신 “정확히 어디서 멈췄고, 그때 어떤 조건이 있었나?”를 묻게 하는 거야. 로봇 평가를 점수표에서 디버거에 가깝게 바꾸려는 시도라고 볼 수 있어.1
현실에 가까운 어려움을 넣는다
현실의 지시는 같은 뜻이어도 표현이 달라지고, 장면에는 방해 물체가 섞이고, 과업은 여러 단계로 길어져. RoboLab은 한 과제에 모호한 표현·기본 표현·구체적인 표현 같은 여러 언어 지시를 넣어 바꿔 실행할 수 있다고 해. NVIDIA의 초기 결과에서는 모호한 지시가 반복해서 실패를 낳았고, 세부사항을 너무 많이 넣어도 성능이 떨어지는 경우가 있었다고 설명해.1
긴 과업도 별도 축이야. 작은 실수가 뒤의 단계로 이어지기 때문에 과업의 길이가 늘어날수록 성능이 어떻게 무너지는지 봐야 해. 해당 글에서는 복잡한 하위 과업을 네 개 넘게 성공적으로 수행한 정책이 없었다고 전해. 다만 이 수치는 NVIDIA가 설명한 초기 평가의 관찰이지, 모든 로봇 정책에 대한 일반 법칙으로 읽으면 안 돼.1
장면 변형을 하나씩 따로 시험하면 경우의 수가 빠르게 늘어나. RoboLab은 여러 변형을 함께 실행하고 민감도 분석을 적용해, 카메라 위치 같은 환경 변수가 성공·실패와 얼마나 연결되는지 찾는다고 해. NVIDIA는 Neural Posterior Estimation을 사용해 성능 저하와 연관된 변수를 추정했다고 설명해.1
아직 모르는 것
RoboLab의 방향은 분명해. 고정된 벤치마크를 계속 돌려 점수만 올리는 대신, 새 과제를 넣고 능력을 나눠 보고 실패 과정을 기록하겠다는 거야. 시뮬레이션에서 이렇게 평가했다고 해서 곧바로 공장이나 창고의 실사용 성능이 증명되는 건 아니야. 결국 다음에 볼 것은 RoboLab에서 좋아진 진단이 실제 로봇의 재시험 횟수, 배포 뒤 실패율, 작업 시간까지 줄이는지야.
댓글