Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

MCAP

Format de fichier ouvert et bibliothèques pour les journaux de robots, défaut de ROS 2

Licence

MIT

Code : MIT, selon le fichier LICENSE à la racine du dépôt GitHub. Paquets : la bibliothèque C++, les paquets TypeScript, les paquets Python et les crates Rust déclarent eux aussi MIT. Spécification : la spécification du format et la documentation se trouvent dans le même dépôt, sous la même licence. Nom et logo : MCAP et son logo appartiennent à Foxglove et ne sont pas accordés par la licence du code. Vérifié le 2026-11-10 à partir de LICENSE, cpp/mcap/LICENSE, des fichiers LICENSE des paquets TypeScript, des fichiers setup.cfg de Python et des fichiers Cargo.toml de Rust.

Aperçu

MCAP est un format de fichier conteneur ouvert pour enregistrer des données de publication-abonnement horodatées sur plusieurs canaux, le genre de journal qu'un robot écrit pendant qu'il fonctionne. Un fichier peut contenir des messages dans plusieurs sérialisations à la fois, comme ROS 1, ROS 2, Protobuf, FlatBuffers ou JSON, et il embarque le schéma de chaque message, si bien qu'on peut le décoder sans le code d'origine. Les données sont écrites uniquement en ajout, par blocs qui peuvent être compressés avec zstd ou LZ4, et un index en fin de fichier permet aux lecteurs d'aller directement à un topic ou à une plage de temps sans parcourir tout le fichier. Foxglove développe MCAP ouvertement sous licence MIT, avec des bibliothèques en C++, Go, Python, Rust, Swift et TypeScript et un outil en ligne de commande pour inspecter, filtrer, fusionner et réparer les fichiers. Depuis la version ROS 2 Iron Irwini du 23 mai 2023, c'est le format de stockage par défaut de rosbag2, l'outil d'enregistrement de ROS 2. En novembre 2026, Foxglove a présenté un banc d'essai commun pour ses bibliothèques et les gains de vitesse d'écriture mesurés avec lui.

MCAP (prononcé « em-cap ») est un format de fichier et un ensemble de bibliothèques pour journaliser les données de robots, développé ouvertement par Foxglove, une entreprise qui vend aussi une plateforme commerciale de données pour la robotique. Auparavant, le format dans lequel une équipe enregistrait dépendait de son framework : ROS 1 avait ses fichiers .bag, difficiles à utiliser hors de ROS, ROS 2 écrivait des bases SQLite qui ne contenaient pas leurs propres définitions de messages, et beaucoup d'autres équipes créaient leurs propres formats binaires. L'évaluation des formats existants menée par Foxglove n'en a trouvé aucun qui convienne bien à la robotique, et MCAP a été conçu pour combler ce manque. Sa spécification, sa documentation et son code source sont publics, et le format a son propre type de média enregistré, application/vnd.mcap.

Un fichier MCAP est une suite d'enregistrements. Les messages sont regroupés en canaux, par exemple le topic d'un capteur, et chaque canal renvoie à un schéma qui décrit ses messages. Le format ne se soucie pas de la façon dont les messages sont sérialisés : le registre des encodages connus comprend les messages ROS 1 et ROS 2, Protobuf, FlatBuffers, JSON Schema, CBOR et Cap'n Proto, et un même fichier peut les mélanger. Comme les schémas sont stockés dans le fichier, un enregistrement peut être décodé des années plus tard sur une machine qui n'a jamais eu les paquets de messages d'origine. Les écrivains ne font qu'ajouter, ce qui garde l'enregistrement rapide et permet de récupérer un fichier écrit en partie si le robot perd son alimentation. Les messages peuvent être regroupés en blocs compressés avec zstd ou LZ4, chacun avec une somme de contrôle facultative, et une section de résumé facultative en fin de fichier indexe les blocs, les canaux, les métadonnées et les pièces jointes. Cet index permet à un lecteur de récupérer un topic ou une fenêtre de temps sans lire le reste du fichier, y compris à travers un réseau.

Des bibliothèques existent pour C++, Go, Python, Rust, Swift et TypeScript, toutes testées par rapport à la spécification, même si la matrice de prise en charge montre qu'elles n'offrent pas toutes les mêmes fonctions de lecture. Le paquet Python ajoute des outils pour les données ROS 1, ROS 2 et Protobuf. L'outil en ligne de commande MCAP, installé avec Homebrew ou téléchargé sous forme de binaire de version, affiche les statistiques d'un fichier, filtre, fusionne, trie, compresse et récupère des fichiers, et convertit en MCAP les enregistrements ROS 1 .bag et ROS 2 .db3. En 2026, Foxglove l'a réécrit de Go en Rust, avec la même interface.

Dans ROS 2, rosbag2 enregistre au moyen de plugins de stockage, et son plugin MCAP est devenu celui par défaut avec la version Iron Irwini du 23 mai 2023, après une pull request qui a remplacé SQLite comme choix par défaut. SQLite reste disponible en option. De nombreux visualiseurs et outils pour les données de robots ouvrent les fichiers MCAP, parmi lesquels l'application de Foxglove elle-même, Lichtblick, BAGEL, PlotJuggler et Rerun.

Le 9 novembre 2026, Foxglove a publié Measuring and improving MCAP performance, sur un banc d'essai commun ajouté par la pull request 1611. Il fait passer les bibliothèques C++, Rust, Go, Python et TypeScript par trois scénarios avec des données identiques à l'octet près : un million de messages de 100 octets sur un seul canal dans chaque mode de stockage (sans blocs, par blocs, zstd et LZ4) ; un enregistrement de robot simulé de 10 secondes avec 5 canaux, d'un capteur inertiel à 200 Hz à des images de caméra de 512 Ko, environ 102 Mo au total ; et des lectures de cet enregistrement filtrées par topic, par plage de temps ou les deux. Chaque exécution vérifie les octets écrits et le nombre de messages relus, et note le temps, la taille du fichier et la mémoire maximale. Selon les mesures de Foxglove elle-même, sur un AMD Ryzen AI MAX+ 395 bloqué à 3,0 GHz et en écrivant sur un système de fichiers en RAM, les écritures LZ4 en C++ dans le test du million de messages sont environ 8 fois plus rapides qu'en janvier 2026, et le temps d'écriture de Rust dans ce test a été plus que divisé par deux. Une partie du gain vient de nouveaux réglages par défaut plutôt que d'un code plus rapide : Go et C++ utilisent désormais le réglage LZ4 le plus rapide, qui rend les fichiers de 15 % à 30 % plus gros, tandis que C++ est passé au niveau 3 pour zstd, avec des fichiers environ 31 % plus petits au prix d'écritures plus lentes. Les résultats publiés ne portent que sur l'écriture, et Foxglove indique que la bibliothèque Python est bien plus lente que les autres sur les petits messages.

Pourquoi c'est important

C'est en enregistrant que les équipes de robotique déboguent, enquêtent sur les incidents et collectent des données d'entraînement, et un journal n'est utile que si les outils autour savent le lire. MCAP est le fichier qu'écrit ROS 2 quand on lance ros2 bag record sur une version actuelle, et le format qu'acceptent des visualiseurs comme Lichtblick, PlotJuggler et Rerun ; il est donc très utilisé pour les journaux de robots, dans ROS comme en dehors. Il est ouvert sous MIT, dispose d'une spécification écrite et d'un type de média enregistré, et embarque ses propres schémas, si bien que des données enregistrées aujourd'hui pourront encore être décodées plus tard sans le code qui les a produites. Foxglove, une entreprise commerciale, en assure la gestion, et le banc d'essai commun du dépôt donne à chacun un moyen partagé de vérifier les performances de ses bibliothèques sur son propre matériel plutôt que de s'en remettre aux chiffres de Foxglove. Le plugin rosbag2 pour le format RRD de Rerun est une autre option pour les équipes qui veulent stocker leurs bags pour l'interrogation et la visualisation plutôt que pour la vitesse d'enregistrement.

Le problème résolu

Les journaux de robots mélangent de nombreux flux de données de fréquences et de tailles différentes, et avant MCAP le fichier dans lequel une équipe enregistrait dépendait de son framework : des bags ROS 1 difficiles à lire hors de ROS, des bases SQLite de ROS 2 qui ne contenaient pas leurs propres définitions de messages, ou des formats maison que chaque outil devait apprendre. MCAP leur offre un conteneur ouvert et autodescriptif qui écrit vite, résiste aux enregistrements interrompus, accepte n'importe quelle sérialisation dans le même fichier et se consulte par topic et par temps grâce à un index, avec des bibliothèques en six langages pour que les outils le lisent et l'écrivent sans construire chacun leur propre analyseur.

Points clés

  • Un format de fichier conteneur ouvert pour les données de publication-abonnement horodatées comme les journaux de robots, avec une spécification publique et le type de média application/vnd.mcap
  • Indépendant de la sérialisation : ROS 1, ROS 2, Protobuf, FlatBuffers, JSON et d'autres dans un même fichier, chaque schéma stocké à l'intérieur
  • Écriture uniquement en ajout, récupération des fichiers interrompus, compression par blocs avec zstd ou LZ4 et un index pour lire par topic ou par plage de temps
  • Des bibliothèques en C++, Go, Python, Rust, Swift et TypeScript, plus un outil en ligne de commande désormais écrit en Rust
  • Format de stockage par défaut de rosbag2 depuis ROS 2 Iron Irwini, sorti le 23 mai 2023
  • Un banc d'essai commun pour cinq des bibliothèques, avec les résultats d'écriture de Foxglove elle-même publiés le 9 novembre 2026
  • Licence MIT, développé ouvertement par Foxglove

Pour qui

  • Développeurs ROS 2 qui enregistrent, rejouent et convertissent des bags
  • Équipes de robotique hors de ROS qui ont besoin d'un seul format de journal pour des données mêlant Protobuf, JSON ou FlatBuffers
  • Développeurs d'outils de données, de visualiseurs et de pipelines qui doivent lire et écrire des journaux de robots
  • Équipes qui collectent des données de robots pour l'apprentissage automatique et veulent des enregistrements autodescriptifs et indexés

Limites

  • Foxglove, une entreprise commerciale, gère le format et la plupart des bibliothèques, et sa propre plateforme de données pour la robotique est un produit commercial
  • Les bibliothèques n'offrent pas toutes les mêmes fonctions : la matrice de prise en charge indique par exemple qu'il n'y a pas de lecture ordonnée par horodatage en Rust ni de lecture indexée non ordonnée en Swift
  • Les chiffres de performance de l'article de novembre 2026 viennent de Foxglove elle-même, mesurés sur une machine AMD Ryzen AI MAX+ 395 qui écrivait sur un système de fichiers en RAM
  • Ces résultats ne portent que sur l'écriture ; la vitesse de lecture ne fait pas partie de la comparaison publiée
  • La bibliothèque Python est bien plus lente que les autres sur les petits messages, de l'aveu même de Foxglove
  • Les réglages par défaut des écrivains, comme la compression et le découpage en blocs, diffèrent encore selon les langages, si bien que les mêmes données peuvent donner des tailles de fichier et des vitesses différentes
  • L'index se trouve dans la section de résumé en fin de fichier, donc un enregistrement interrompu avant sa fermeture n'a pas d'index tant qu'il n'a pas été récupéré avec la CLI

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.