Foundation models in robotics: Applications, challenges, and the future

Autores: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0.

Em resumo

Revisão de modelos de fundação em robótica, agrupados em tomada de decisão e controle, percepção e IA incorporada (embodied AI), que termina com oito desafios em aberto, da escassez de dados à segurança e ao uso em tempo real.

Por que importa

Engenheiros que decidem se usam um LLM, um VLM ou um transformador robótico em um robô podem usar as categorias da revisão e sua tabela II, que lista números de parâmetros e frequências de inferência, como 1-3 Hz para o RT-2 contra 20 Hz para o Gato. A seção de desafios aponta preocupações práticas de implantação: modelos disponíveis só na nuvem e latência de rede, alucinação, incerteza calibrada e testes de segurança. Os autores também afirmam que muitos resultados de tomada de decisão são difíceis de comparar porque dependem de pilhas de hardware personalizadas ou de simuladores sem física.

Problema

Os modelos de aprendizado profundo em robótica costumam ser treinados em conjuntos de dados pequenos coletados para uma única tarefa, o que limita o quanto se adaptam a novas tarefas e ambientes. Modelos de fundação pré-treinados com dados em escala de internet generalizaram bem em linguagem e visão, e pesquisadores de robótica começaram a conectá-los a robôs, adaptá-los para robôs ou construí-los para robôs. O trabalho nessa área está espalhado entre percepção, planejamento e controle, sem um mapa único do que já foi tentado e do que continua sem solução.

Solução proposta

Trata-se de uma revisão e não propõe nenhum método próprio. Ela limita seu escopo a artigos de base, artigos de robótica (modelos de fundação usados de forma plug-and-play, ajustados ou construídos do zero para robôs) e artigos adjacentes à robótica, e cobre o contexto dos modelos de fundação, a tomada de decisão e o controle de robôs (aprendizado por imitação condicionado por linguagem, RL assistido por linguagem, aprendizado de valor, planejamento de tarefas com LLM e geração de código, aprendizado em contexto, transformadores robóticos, navegação e manipulação de vocabulário aberto), a percepção (detecção de vocabulário aberto, segmentação, representação de cenas 3D, affordances, modelos preditivos) e a IA incorporada (embodied AI) com seus simuladores. Ela termina com desafios e direções futuras, e tabula tamanho, velocidade de inferência e hardware de treinamento de modelos pré-treinados específicos para robôs.

Principais ideias

A revisão classifica os trabalhos em robótica em três formas de usar modelos de fundação: uso plug-and-play de modelos existentes, sua adaptação ou ajuste fino, e a construção de novos modelos de fundação específicos para robôs.
As habilidades físicas aprendidas pelos transformadores robóticos atuais se limitam à distribuição de habilidades presentes nos dados do robô; os autores sugerem dados de movimento de vídeos de pessoas como um caminho para superar isso.
Muitos modelos de fundação só são acessíveis por APIs na nuvem, de modo que a latência depende de redes que o robô não controla; os autores sugerem autonomia local de reserva e destilação em modelos menores embarcados.
Para robôs críticos em segurança, os autores argumentam que as estimativas de incerteza precisam ser calibradas no sentido frequentista, e apresentam o uso de predição conformal no KnowNo como estudo de caso.
Simuladores sem física como Gibson, Habitat, RoboTHOR e VirtualHome trocam a física de baixo nível por fidelidade visual, o que os autores associam a uma grande lacuna sim-to-real e a baixa reprodutibilidade.

Principais resultados

Como revisão, não relata experimentos próprios; sua lista de referências chega a 233 entradas entre artigos de base, de robótica e adjacentes à robótica.
A tabela II lista modelos pré-treinados específicos para robôs com tamanho e frequência de inferência, por exemplo RT-1 com 35M parâmetros e 3 Hz, RT-2 e RT-2-X com 55B parâmetros e 1-3 Hz em um serviço de nuvem com várias TPUs, Gato com 1,2B e 20 Hz, e ViNT com 31M e 4 Hz.
A mesma tabela lista o PACT (12M parâmetros) a 10 Hz em um computador de borda Nvidia Xavier NX e a 50 Hz em 8 GPUs Nvidia V100, e o PaLM-E-562B com subobjetivos de linguagem a 1 Hz mais controle de baixo nível a 5 Hz.
A revisão relata que o RT-1 foi treinado com mais de 130k episódios de robôs reais cobrindo mais de 700 tarefas, coletados ao longo de 17 meses com 13 robôs.
A revisão relata que o conjunto de dados RT-X combina dados de 22 robôs e 21 instituições, cobrindo 527 habilidades (160.266 tarefas).
Ela lista oito áreas de desafio: escassez de dados, desempenho em tempo real, limites da representação multimodal, quantificação de incerteza, avaliação de segurança, plug-and-play versus construir novos modelos, alta variabilidade nos ambientes robóticos, e benchmarking e reprodutibilidade.

Limitações

Os autores chamam esta versão de versão preliminar que pretendem atualizar, então ela retrata a área em dezembro de 2023.
O escopo se limita a três categorias de artigos (base, robótica, adjacentes à robótica), e os autores observam um escopo muito mais estreito que o de revisões mais amplas sobre modelos de fundação.
Os autores afirmam que os artigos da seção de tomada de decisão são mais difíceis de avaliar e comparar que os das seções de percepção ou de IA incorporada (embodied AI), porque dependem de pilhas de hardware personalizadas ou de simuladores sem física.
A tabela II tem campos vazios onde os artigos de origem não relatam dados, então a velocidade de inferência e o hardware não estão disponíveis para todos os modelos.

Impacto na área

A revisão tem 471 citações. Junto com ela, os autores disponibilizaram um projeto no GitHub, Awesome-Robotics-Foundation-Models, que descrevem como uma versão preliminar que pretendem continuar atualizando.

Resumo

Revisamos aplicações de modelos de fundação pré-treinados em robótica. Os modelos tradicionais de aprendizado profundo em robótica são treinados em conjuntos de dados pequenos feitos para tarefas específicas, o que limita sua adaptabilidade a aplicações diversas. Em contraste, modelos de fundação pré-treinados com dados em escala de internet parecem ter capacidades superiores de generalização e, em alguns casos, exibem uma capacidade emergente de encontrar soluções zero-shot para problemas que não estão presentes nos dados de treinamento. Os modelos de fundação podem ter o potencial de aprimorar vários componentes da pilha de autonomia do robô, da percepção à tomada de decisão e ao controle. Por exemplo, grandes modelos de linguagem podem gerar código ou fornecer raciocínio de senso comum, enquanto modelos de visão e linguagem permitem reconhecimento visual de vocabulário aberto. No entanto, ainda restam desafios de pesquisa importantes em aberto, em particular em torno da escassez de dados de treinamento relevantes para robôs, das garantias de segurança e da quantificação de incerteza, e da execução em tempo real. Nesta revisão, estudamos artigos recentes que usaram ou construíram modelos de fundação para resolver problemas de robótica. Exploramos como os modelos de fundação contribuem para melhorar as capacidades dos robôs nos domínios da percepção, da tomada de decisão e do controle. Discutimos os desafios que dificultam a adoção de modelos de fundação na autonomia robótica e apresentamos oportunidades e possíveis caminhos para avanços futuros. O projeto no GitHub correspondente a este artigo (versão preliminar. Estamos comprometidos em continuar aprimorando e atualizando este trabalho para garantir sua qualidade e relevância) pode ser encontrado aqui: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

Open Source Robotics