Interactive Perception

Categoria: Planning & manipulation › Manipulation
Tag: manipulation, perception, active-sensing, partial-observability, exploration

Percezione in cui un robot agisce deliberatamente sull'ambiente, spingendo, tirando o spostando oggetti, per rivelare informazioni che l'osservazione passiva non può fornire.

Definizione

Percezione interattiva (interactive perception) tratta l'interazione fisica come parte della percezione. Invece di cercare di dedurre tutto da una vista statica, il robot compie azioni che cambiano la scena e ne osserva il risultato: spingere un mucchio per separare oggetti a contatto, tirare un cassetto per capire come si muove, sollevare una scatola per stimarne il peso o picchiettare una superficie per sentire di che materiale è fatta. I cambiamenti causati da un'azione nota portano informazioni su proprietà che una singola immagine nasconde, come i contorni degli oggetti, la massa, l'attrito e l'articolazione.

L'idea si basa sulla percezione attiva, in cui un robot sceglie dove puntare o spostare i propri sensori, ma va oltre perché cambia il mondo stesso. Una rassegna del 2017 di Jeannette Bohg e colleghi l'ha inquadrata come lo sfruttamento delle regolarità tra le azioni di un robot e i segnali sensoriali che esse producono. Formalmente, il robot affronta un problema parzialmente osservato: lo stato che gli interessa è latente, e le azioni vanno scelte per ridurre l'incertezza su quello stato oltre che per avanzare nel compito. Questo lega la percezione interattiva ai POMDP, alla stima bayesiana dello stato e ai pianificatori di raccolta di informazioni.

Gli usi vanno dalla segmentazione e dalla stima dell'articolazione fino al giudicare se un compito è riuscito. Un robot può, per esempio, dare uno strattone a una porta per verificare che sia chiusa con il chiavistello, o scuotere un contenitore per giudicare se è vuoto, quando la risposta non è visibile. I costi sono tempo e rischio: ogni azione esplorativa richiede sforzo e può perturbare o danneggiare la scena, quindi un sistema deve decidere quando l'informazione vale l'interazione.

Perché è importante

Molte proprietà che contano per la manipolazione, come se due oggetti sono attaccati, come si apre un coperchio o quanto pesa qualcosa, non si possono leggere da un'immagine. La percezione interattiva dà ai robot un modo sistematico per scoprirle, il che rende la manipolazione più affidabile in ambienti ingombri e sconosciuti.

Applicazioni principali

Stima dell'articolazione di porte, cassetti e coperchi
Segmentazione di scene ingombre separando gli oggetti con spinte
Stima di massa, attrito e altre proprietà fisiche
Verifica del successo di un compito quando il risultato non è visibile
Esplorazione aptica della forma degli oggetti

In pratica

A un robot viene chiesto di aprire mobili sconosciuti in una cucina. Per ogni maniglia, la afferra e applica una piccola trazione esplorativa registrando il moto della pinza e la forza al polso. Se la maniglia si muove lungo una linea retta, adatta un giunto prismatico; se si muove lungo un arco, adatta un giunto rotoidale e stima l'asse della cerniera. Il modello stimato guida poi un movimento di apertura completo in controllo cedevole, e la stima viene affinata man mano che il movimento prosegue. Se la maniglia non si muove entro un limite di forza sicuro, il robot registra il mobile come chiuso a chiave o bloccato invece di tirare più forte.

Idee sbagliate comuni

La percezione interattiva è la stessa cosa della percezione attiva — la percezione attiva sposta il sensore, mentre la percezione interattiva cambia l'ambiente tramite il contatto fisico
Le azioni esplorative sono tempo perso — una breve interazione può eliminare un'incertezza che altrimenti causerebbe una presa fallita o un giudizio di successo sbagliato
Richiede sensori tattili — visione, sensori di forza-coppia, encoder dei giunti e suono possono tutti osservare gli effetti di un'azione

Chi dovrebbe saperlo

Ricercatori di manipolazione
Ingegneri che costruiscono robot domestici e di servizio
Ricercatori di percezione che lavorano su oggetti articolati e deformabili
Ricercatori di apprendimento attivo e raccolta di informazioni

Tecnologie correlate

Percezione attiva (Active Perception)
Stima dell'articolazione (Articulation Estimation)
Filtraggio bayesiano (Bayesian Filtering)
Rilevamento forza-coppia (Force-Torque Sensing)
Rilevamento tattile (Tactile Sensing)

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
PCL: Industry-standard C++ library for point cloud processing in robotics perception
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation