Wizard of Oz

Auch genannt: WoZ, Wizard-of-Oz prototyping
Kategorie: Control › Human in the loop
Schlagwörter: human-robot-interaction, user-studies, research-methods, teleoperation, social-robotics

Eine Studienmethode, bei der ein verborgener menschlicher Bediener, der Wizard, das Verhalten eines Roboters ganz oder teilweise steuert, während die Versuchspersonen mit dem Roboter interagieren, als wäre er autonom.

Definition

In einer Wizard of Oz-Studie (WoZ) steuert eine Person außerhalb des Blickfelds der Versuchsperson, der Wizard, einen Teil oder das gesamte Verhalten eines Roboters, etwa seine Sprache, Gesten, Navigation oder Entscheidungen, während die Versuchsperson mit ihm interagiert, als würde er selbstständig handeln. Der Name bezieht sich auf den verborgenen Bediener hinter dem Vorhang in Der Zauberer von Oz. Die Methode stammt aus der Forschung zur Mensch-Computer-Interaktion über natürlichsprachliche Schnittstellen, wo sie es Entwicklern ermöglichte zu untersuchen, wie Menschen mit Systemen sprechen würden, die sich noch nicht bauen ließen, und sie wurde zu einer Standardmethode der Mensch-Roboter-Interaktion (HRI).

WoZ ermöglicht es Forschenden zu untersuchen, wie Menschen auf Fähigkeiten reagieren, die noch nicht zuverlässig funktionieren, etwa offene Unterhaltung, soziale Wahrnehmung oder flüssiger Sprecherwechsel, und Gestaltungsideen zu testen, bevor die zugrunde liegende Technik existiert. Die Steuerung durch den Wizard reicht von vollständiger Teleoperation bis zur Auswahl unter vorbereiteten Verhaltensweisen, und viele Studien mischen vom Wizard gesteuerte Komponenten mit autonomen, zum Beispiel autonome Navigation mit vom Wizard gesteuertem Dialog. Zur guten Praxis gehören ein schriftliches Wizard-Protokoll, Schulung und Konsistenzprüfungen für Wizards, die Protokollierung jeder Wizard-Aktion und eine klare Angabe, welche Verhaltensweisen vom Wizard gesteuert wurden.

Die Methode hat bekannte Grenzen. Die Ergebnisse beschreiben, wie Menschen auf einen idealisierten Roboter reagieren, nicht auf das System, das sich tatsächlich bauen lässt, und Urteil und Reaktionszeit des Wizards werden Teil der experimentellen Bedingung. Versuchspersonen können die Täuschung vermuten, was ihr Verhalten verändern kann. Weil Versuchspersonen bewusst über die Autonomie des Roboters getäuscht werden, sind eine Ethikprüfung und eine Aufklärung nach der Sitzung (Debriefing) Standard. Protokolle der Wizard-Aktionen werden außerdem nachträglich genutzt, um autonomes Verhalten zu entwerfen oder als Demonstrationen zum Lernen, was sie über die ursprüngliche Studie hinaus nützlich macht.

Warum es wichtig ist

Viele Fragen der HRI betreffen, wie Menschen auf Fähigkeiten von Robotern reagieren, die noch nicht zuverlässig genug für den Einsatz sind. Wizard of Oz macht solche Studien möglich, begrenzt aber auch, was ihre Ergebnisse bedeuten; um HRI-Ergebnisse richtig zu lesen, muss man daher wissen, welche Teile des Roboters von einem Menschen gesteuert wurden.

Wichtige Anwendungen

Prototyping von Gesprächs- und Sozialverhalten von Robotern, bevor es automatisiert werden kann
Untersuchung von Vertrauen, Engagement und Akzeptanz in der Mensch-Roboter-Interaktion
Langzeitstudien und Studien in realer Umgebung (in the wild), bei denen die Autonomie unvollständig ist
Sammeln von Interaktionsdaten, um autonome Verhaltensweisen zu entwerfen oder zu trainieren
Frühe Tests von Konzepten für Assistenz- und Serviceroboter mit den vorgesehenen Nutzern

In der Praxis

Ein HRI-Team möchte wissen, ob ein sozialer Roboter, der während eines Gruppenspiels seine Rolle wechselt, die Spieler über mehrere Sitzungen hinweg bei der Stange hält. Eine zuverlässige Erkennung des Zustands jedes Spielers und eine solide Policy für die Rollenwahl gibt es noch nicht. Ein Wizard in einem Nebenraum verfolgt daher die Kamerabilder und wählt Rolle und Äußerungen des Roboters in einer vorbereiteten Oberfläche aus, während Sprachsynthese und Gesten automatisch laufen. Der Wizard folgt einem schriftlichen Entscheidungsprotokoll, und jede Auswahl wird mit Zeitstempel protokolliert. Nach den Sitzungen werden die Versuchspersonen aufgeklärt und gefragt, ob sie den Roboter für autonom hielten, und das Team berichtet zusammen mit den Ergebnissen, welche Verhaltensweisen vom Wizard gesteuert wurden.

Häufige Missverständnisse

Wizard of Oz bedeutet einfach, dass der Roboter teleoperiert wird — Wizards steuern oft nur ausgewählte Verhaltensweisen, häufig durch Auswahl unter vorbereiteten Optionen, während andere Teile autonom laufen
WoZ-Ergebnisse zeigen, was ein autonomer Roboter erreichen wird — sie zeigen, wie Menschen auf ein idealisiertes System reagieren, dem eine reale Implementierung womöglich nicht entspricht
Mit einem Wizard braucht man keine strenge experimentelle Kontrolle — Timing und Urteil des Wizards schwanken, sodass Protokolle, Schulung und Protokollierung nötig sind, um die Bedingungen konsistent zu halten

Wer das wissen sollte

Forschende in der Mensch-Roboter-Interaktion
Gestalter von Sozial- und Servicerobotern
UX-Forschende, die Roboterverhalten prototypisch umsetzen
Ethikgutachter, die Studien mit Täuschung bewerten

Open Source Robotics