Assistive Gym

돌봄 작업용 보조 로봇을 훈련하기 위한 물리 시뮬레이션 프레임워크

라이선스

MIT

개요

Assistive Gym은 PyBullet과 OpenAI Gym을 기반으로 한 물리 기반 시뮬레이션 프레임워크로, 식사, 음료 마시기, 목욕, 옷 입기 같은 일상 작업에서 사람을 돕는 로봇을 훈련하는 데 사용됩니다. 6가지 보조 작업과 6종의 상용 로봇을 조합하며, 사람의 선호를 보상 함수에 반영합니다. 강화 학습용으로 사전 학습된 베이스라인 정책이 포함되어 있습니다.

Assistive Gym은 PyBullet 기반으로 구축되고 OpenAI Gym과 통합된 물리 기반 시뮬레이션 프레임워크로, 물리적 인간-로봇 상호작용 및 로봇 보조 연구를 위해 특별히 설계되었습니다. 정적 및 능동적 인간 구성에서 6가지 보조 작업(식사, 음료 섭취, 가려운 곳 긁기, 침상 목욕, 착의, 팔 조작)과 6대의 상용 로봇(PR2, Jaco, Baxter, Sawyer, Stretch, Panda)을 조합한 72개의 즉시 사용 가능한 시뮬레이션 환경을 제공합니다.

이 프레임워크는 생체역학 연구에서 도출된 자세 의존적 관절 한계와 40개의 구동 관절을 가진 해부학적으로 사실적인 인간 모델을 특징으로 하며, 남성과 여성 신체 구성을 모두 지원합니다. 인간 선호도 모델링을 보상 함수에 직접 통합하여 개인의 편안함과 자율성을 존중하는 보조 전략을 로봇이 학습할 수 있게 합니다. 버전 1.0에서는 모바일 매니퓰레이션, 다중 로봇 제어, 사실적인 가정 환경을 위한 iGibson 통합, 사실적인 신체 표현을 위한 SMPL-X 인간 메시 모델이 추가되었습니다.

Assistive Gym은 OpenAI Gym 인터페이스를 통해 표준 강화학습 알고리즘과 완전히 호환되며, 모든 로봇-작업 조합에 대한 사전 훈련된 기준 정책을 포함하고, Google Colab 노트북을 통한 클라우드 기반 개발을 지원합니다. 연구자는 맞춤형 보조 환경을 생성하고, 기존 작업을 확장하며, 제공된 기준선에 대해 새로운 접근 방식을 벤치마크할 수 있습니다.

중요한 이유

전 세계적으로 인구가 고령화됨에 따라 돌봄 수요가 가용 인력을 훨씬 초과하고 있습니다. 보조 로보틱스는 이 격차를 해소할 잠재력을 가지고 있지만, 사람과 물리적으로 상호작용하는 로봇을 개발하는 것은 본질적으로 위험합니다. Assistive Gym은 개발 과정에서 실제 사람을 위험에 빠뜨리지 않으면서 보조 로봇 정책을 훈련하고 평가할 수 있는 안전하고 반복 가능한 시뮬레이션 환경을 제공합니다.

이 프레임워크는 IEEE ICRA 2020에 발표되고 광범위하게 인용되면서 보조 로보틱스 연구 커뮤니티의 기초 도구로 자리잡았습니다. 일반적인 돌봄 작업의 시뮬레이션을 표준화하고 여러 상용 로봇에 대한 벤치마크 결과를 제공함으로써, 실제 실험이 비용이 많이 들고 느리며 윤리적으로 제한되는 분야에서 진보를 가속화합니다. 오픈소스 특성과 Google Colab 지원은 이 중요한 분야에 진입하는 신규 연구자의 진입 장벽을 낮춥니다.

해결하는 문제

일상 활동에서 사람을 물리적으로 보조하는 로봇을 개발하는 것은 근본적인 닭과 달걀의 문제를 제시합니다: 로봇은 인간과 안전하게 상호작용하기 위해 광범위한 훈련이 필요하지만, 실제 사람을 대상으로 훈련하는 것은 용납할 수 없는 안전 위험을 초래합니다. 물리적 인간-로봇 상호작용 실험은 또한 비용이 많이 들고, 시간이 소요되며, 연구 그룹 간 재현이 어렵습니다.

Assistive Gym은 로봇이 인간 피험자에 대한 어떠한 위험도 없이 수백만 번의 시행착오 상호작용을 통해 학습할 수 있는 사실적인 물리 시뮬레이션을 제공함으로써 이를 해결합니다. 이 프레임워크는 접촉의 물리뿐만 아니라 인간의 선호도와 신체 능력도 모델링하여, 훈련된 정책이 보조받는 사람의 편안함과 자율성을 고려하도록 보장합니다. 이를 통해 전 세계 연구자들이 실제 배치 전에 표준화된 벤치마크에서 보조 전략을 개발, 테스트, 비교할 수 있습니다.

핵심 요점

• 6대의 상용 로봇에 걸쳐 6가지 일상생활 작업(식사, 음료, 목욕, 착의, 긁기, 팔 조작)을 시뮬레이션하여 총 72개의 환경 조합 제공
• 인간 선호도 모델링을 보상 함수에 통합하여 로봇이 편안함과 자율성을 존중하는 방식으로 보조하도록 학습
• 40개의 구동 관절과 생체역학적으로 정확한 관절 한계를 갖춘 해부학적으로 사실적인 인간 모델 탑재
• OpenAI Gym 인터페이스를 통한 표준 강화학습과 호환되며, 사전 훈련된 기준 정책 포함
• iGibson 통합을 통한 사실적인 가정 환경과 SMPL-X 인간 메시를 통한 사실적인 신체 표현 지원

대상

• 물리적 인간-로봇 상호작용 및 보조 기술을 연구하는 로보틱스 연구자
• 실제 돌봄 및 조작 작업에 강화학습을 적용하는 강화학습 실무자
• 노인 및 장애인 돌봄을 위한 로봇 보조를 프로토타이핑하는 헬스케어 기술 개발자
• 보조 로보틱스, 재활 공학 또는 체화된 AI를 공부하는 대학원생
• 보조 응용을 위한 상용 플랫폼을 평가하는 로봇 제조업체

한계

• 시뮬레이션-현실 격차로 인해 Assistive Gym에서 훈련된 정책이 추가 미세 조정 없이는 실제 로봇에 직접 전이되지 않을 수 있음
• 인간 모델이 단순화된 관절 한계와 신체 역학을 사용하여 다양한 장애를 가진 실제 환자의 전체 변동성을 포착할 수 없음
• 최적의 호환성을 위해 Python 3.6 또는 3.7이 필요하며, 최신 Python 버전에 대한 지원이 제한적
• 옷감과 피부 물리가 중요한 착의 및 목욕 작업에서 연체 변형을 모델링하지 않음
• 마지막 주요 업데이트가 v1.0이었으며, 최신 시뮬레이션 프레임워크에 비해 최근 개발 활동이 제한적