RoboDojo

Isaac Sim에서도 실제 팔에서도 도는 조작 벤치마크

라이선스

MIT

개요

RoboDojo는 범용 조작 정책을 위한 벤치마크로, 시뮬레이션과 실제 하드웨어를 한자리에서 다룬다. 다섯 가지 역량 차원에 걸친 42개의 Isaac Sim 과제, 그리고 Piper X와 Piper, ARX X5 팔에서 도는 18개의 실세계 과제다. 쓸 만하게 만드는 조각은 XPolicyLab으로, 40개가 넘는 정책을 단일 인터페이스 뒤로 묶어 같은 정책 정의가 시뮬레이션에서도 실제 로봇에서도 돌게 한다. 배치는 재현성을 위해 시드로 통제되고, summarize 명령 한 번이면 실행들이 리더보드 표로 모인다.

카탈로그에는 이미 LIBERO, RLBench, Meta-World, CALVIN, SimplerEnv가 있고 그 모두가 시뮬레이터에서 멈춘다. RoboDojo의 차별점은 실제 쪽이 덧붙임이 아니라는 것이다. 세 종류 실제 팔 플랫폼 위의 18개 과제가 42개 시뮬레이션 과제와 나란히, 같은 정책 인터페이스 아래 놓인다. 어떤 정책의 시뮬레이션 점수가 실제 점수를 예측하는지는 이 분야가 가장 답을 필요로 하면서 가장 덜 측정하는 물음이고, 그것을 정면으로 묻기 위해 지어진 벤치마크는 가질 값어치가 있다.

실무적으로 저장소는 시뮬레이터 뼈대와 매니저들, 시뮬레이터·장면·로봇·카메라의 환경 설정, 과제 로직과 YAML 설정, 그리고 정책 서버이자 통합 계층인 XPolicyLab을 나눠 둔다. 자산 — 로봇, 물체, 재질, 배치 — 은 내장이 아니라 내려받는다. 문서 사이트를 정본 참조로 삼아 설치, 빠른 평가, 새 정책을 XPolicyLab에 통합하는 법, 시뮬레이션과 실제 과제 목록, 설정, 문제 해결까지 다루는데, 대부분의 벤치마크보다 시작 경로에 손이 많이 갔다.

중요한 이유

시뮬레이션 조작 벤치마크는 포화되기 쉽고 믿기 어려워졌다. LIBERO의 숫자 하나는 어떤 정책이 작업대 위에서 되는지에 대해 거의 말해 주지 않는다. RoboDojo는 두 절반을 한 인터페이스 아래 두어 비교가 실제로 이뤄지게 하고, 이미 통합된 40개가 넘는 정책과 함께 그렇게 한다. 그것이 이번 주에 쓸 수 있는 벤치마크와 먼저 자기 작업을 이식해야 하는 벤치마크의 차이다.

해결하는 문제

조작 결과는 시뮬레이션에서 보고되고 하드웨어에서 배치되는데, 둘이 서로 다른 도구로 측정되기 때문에 앞의 것이 뒤의 것을 얼마나 예측하는지 아무도 말하지 못한다. RoboDojo는 둘을 하나의 정책 인터페이스 뒤에 두어 같은 것을 두 곳에서 돌릴 수 있게 한다.

핵심 요점

다섯 역량 차원에 걸친 42개의 Isaac Sim 과제, 여기에 Piper X와 Piper, ARX X5 팔에서 도는 18개의 실세계 과제
XPolicyLab이 40개가 넘는 정책을 한 인터페이스 뒤로 묶어, 같은 정의가 시뮬레이션에서도 실제 하드웨어에서도 돈다
시드로 통제된 배치와 단일 summarize 단계가 실행들을 리더보드 표로 모은다
시뮬레이션과 실제는 실제 데모를 붙인 시뮬레이터가 아니라 한 벤치마크의 두 절반으로 설계됐다
자산은 내장이 아니라 내려받게 되어 있어 저장소 자체는 가볍게 유지된다
문서 사이트가 정본 참조이며, 기존 정책을 돌리는 것뿐 아니라 새 정책을 통합하는 법까지 다룬다

대상

범용 조작 결과를 보고하면서 시뮬레이션 숫자 옆에 실제 숫자도 두고 싶은 그룹
VLA 정책을 비교하면서 논문마다 자체 하네스를 들고 오는 데 지친 사람
Piper, Piper X, ARX X5 팔을 가지고 평가할 정책이 있는 사람
새 정책을 통합해 여러 과제에서 한 번에 돌려 보고 싶은 연구자

한계

실제 쪽은 특정 하드웨어 — Piper X, Piper, ARX X5 — 가 있어야 해서, 독자 대부분은 시뮬레이션 42개만 돌릴 수 있다
Isaac Sim은 자체 GPU 요구를 지닌 무거운 의존성이며, 문서에 GPU 메모리 문제 해결 페이지가 있는 데는 이유가 있다
자산을 따로 내려받아야 하므로 벤치마크가 자족적이지 않다
뒤에 있는 논문(arXiv 2607.04434)은 발표 지면이 없는 프리프린트라, 벤치마크 설계가 심사를 거치지 않았다
리더보드는 참여만큼만 값어치가 있고, 이 나이에 그것은 증명되지 않았다
XPolicyLab이 40개 넘는 정책을 통합한다는 것은 유지 부담이며, 프로젝트가 느려지면 드러난다