Shared Autonomy
- 다른 이름: shared control, assistive teleoperation
- 카테고리: Control › Human in the loop
- 태그: human-robot-interaction, teleoperation, assistive-robotics, intent-inference, control-arbitration
사람 조작자와 로봇이 같은 과제에 동시에 작용하는 제어 방식으로, 로봇은 조작자의 목표를 추론하고 자신의 보조를 명령에 섞어 넣는다.
정의
공유 자율성(shared autonomy)은 사람과 로봇이 같은 로봇을 동시에 제어하는 시스템을 말한다. 조작자는 조이스틱, 뇌-컴퓨터 인터페이스, 원격 조작 장치 또는 다른 입력을 통해 명령을 내리고, 로봇은 그 명령을 단순히 실행하지 않는다. 로봇은 조작자가 무엇을 이루려 하는지 추정하고, 그 목표를 향해 자신의 행동을 보탠다. 그 결과는 로봇이 명령을 정확히 따르는 직접 원격 조작과, 사람은 과제만 정하는 완전 자율 사이에 놓인다.
대부분의 정식화는 두 부분으로 이루어진다. 의도 추론(intent inference)은 사용자가 어떤 물체를 잡으려 하는지 같은 후보 목표들에 대한 믿음을 유지하며, 이 믿음은 사용자의 입력과 지금까지의 로봇 움직임으로부터 갱신된다. 중재(arbitration)는 로봇의 보조와 사용자의 명령을 어떻게 결합할지 정한다. Dragan과 Srinivasa(2013)는 이를 정책 혼합(policy blending)으로 정식화했는데, 실행되는 명령은 사용자의 입력과 로봇의 예측을 가중한 혼합이고, 예측한 목표에 대한 확신이 커질수록 가중치가 커진다. 다른 접근법들은 알 수 없는 목표를 부분 관측 마르코프 결정 과정의 은닉 상태로 다루어 여러 그럴듯한 목표 모두에 도움이 되는 행동을 고르거나, 예를 들어 저차원 사용자 입력을 학습된 잠재 행동으로 사상하는 식으로 데이터에서 보조를 직접 학습한다.
핵심 절충은 보조와 제어 권한 사이에 있다. 공격적인 보조는 과제를 더 빨리 끝낼 수 있지만, 목표가 모호할 때는 틀린 추측에 따라 행동하며, 로봇이 자신의 명령을 무시하고 개입하면 사용자는 흔히 좌절감을 호소한다. 그래서 많은 시스템은 사람이 언제든 개입해 무를 수 있게 하거나, 로봇이 추론한 목표를 인터페이스로 보여 주거나, 반복된 상호작용을 거치며 사용자마다 보조 수준을 맞춘다. 공유 자율성은 권한이 사람과 로봇 사이에서 이산적인 구간 단위로 넘어가는 교대 제어(traded control)와 다르며, 사람이 입력 장치가 아니라 직접 접촉으로 로봇을 이끄는 물리적 인간-로봇 상호작용과도 다르다.
중요한 이유
쓸모 있는 로봇 중 많은 것이 아직 완전히 자율적일 수 없고, 많은 사용자는 조이스틱이나 그 밖의 제한된 입력으로 고자유도 팔을 정밀하게 원격 조작할 수 없다. 공유 자율성은 사람이 결정을 쥔 채 로봇이 정밀한 위치 맞춤을 처리하게 하여, 보조용 로봇 팔, 원격 조작, 어려운 조종 과제를 비전문가도 실제로 쓸 수 있게 만든다.
주요 응용
- 상지 운동 능력이 제한된 사람을 위한 보조 로봇 암
- 제한된 입력 장치나 통신 지연이 있는 원격 조작
- 뇌-컴퓨터 인터페이스와 근전도를 이용한 로봇 장치 제어
- 반자율 차량의 운전자 보조와 충돌 회피
- 자동 안정화와 장애물 회피를 갖춘 드론 및 비행체 조종
- 가상 고정구와 운동 제약을 쓰는 로봇 보조 수술
실제 사례
휠체어에 장착한 보조 팔을 2축 조이스틱으로 제어하므로, 사용자는 엔드 이펙터의 여섯 자유도를 한꺼번에 명령할 수 없다. 소프트웨어는 깊이 카메라로 탁자 위의 후보 물체를 검출하고, 각 물체가 목표일 확률을 유지하며, 이 확률은 사용자의 최근 조이스틱 움직임이 그 물체를 얼마나 잘 가리키는지에 따라 갱신된다. 믿음이 여러 물체에 퍼져 있는 동안 팔은 사용자의 명령을 거의 그대로 따른다. 한 물체가 분명히 가장 가능성이 높아지면, 제어기는 그 물체에 대한 파지 직전 자세를 향한 움직임을 섞어 넣는데, 여기에는 조이스틱으로는 표현할 수 없는 손목 회전도 포함된다. 사용자는 언제든 보조에 맞서 밀 수 있으며, 그러면 그 목표의 확률이 낮아지고 권한이 사용자에게 돌아간다. 엔지니어들은 혼합 함수를 튜닝하고, 개입 이벤트를 기록해 추론이 어디서 잘못 추측하는지 찾는다.
흔한 오해
- 공유 자율성은 수동 모드와 자동 모드를 전환하는 것이다 — 그것은 교대 제어이며, 공유 자율성은 두 명령 원천을 연속적으로 결합한다
- 보조는 많을수록 좋다 — 잘못된 목표 추정에 근거한 보조는 사용자를 느리게 하며, 많은 사용자는 속도를 어느 정도 희생하더라도 더 많은 제어권을 유지하기를 선호한다
- 로봇은 목표를 미리 알아야 한다 — 사용자 입력으로부터의 목표 추론이 문제의 일부이며, 좋은 시스템은 목표가 아직 불확실할 때도 합리적으로 행동한다
- 공유 자율성은 원격 조작과 같다 — 단순 원격 조작에서 로봇은 조작자의 명령을 재현하지만, 공유 자율성에서는 자신의 행동을 더한다
알아야 할 사람
- 보조 및 재활 로봇공학 엔지니어
- 원격 조작과 인간-로봇 상호작용 연구자
- 비전문가가 제어하는 로봇의 인터페이스 설계자
- 운전자 보조 장치나 조종 보조 장치를 만드는 엔지니어
관련 기술
- 정책 혼합(Policy Blending)
- 의도 추론(Intent Inference)
- 가상 고정구(Virtual Fixtures)
- 뇌-컴퓨터 인터페이스
- 보조 로봇 암
관련 용어
- Teleoperation
- Physical Human-Robot Interaction
- Partially Observable Markov Decision Process (POMDP)
- Inverse Reinforcement Learning
- Safety Filter
관련 프로젝트
- SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- GEAR-SONIC: NVIDIA's whole-body controller for the Unitree G1, trained to track any human motion
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
동영상
- Shared autonomy for interactive robotics: The Royal Society
- Shared Autonomy: the robots are ready, are you? | Sethu Vijayakumar | TEDxUniversityofEdinburgh: TEDx Talks