Wartung und Instandhaltung von Flugzeugen mit Augmented Reality

Die Wartung moderner Flugzeuge ist komplex. Der Einsatz von AR-Datenbrillen in Kombination mit 3D-Informations-Visualisierungen soll Fluggerätemechanikern die Reparatur und Instandhaltung künftig erleichtern. Die virtuellen Anleitungen, Displays und technischen Ausstattungen lassen sich per Gesten-, Blick- und Sprachsteuerung bedienen. Forschende am Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie FKIE haben für den Airbus A400M Konzepte und Lösungsansätze für die Wartung mithilfe von Augmented-Reality-Systemen entwickelt.

Moderne Transportflugzeuge sind mit unzähligen mechanischen und elektronischen Geräten und Komponenten ausgestattet. Allein die Triebwerke moderner Transportflugzeuge wie des Airbus A400M umfassen mehr als 10 000 Einzelteile. Entsprechend anspruchsvoll sind die Wartung und Instandhaltung der Flugzeuge. Bedienungsanleitungen in Papierform unterstützen Fluggerätemechaniker bislang bei ihrer anspruchsvollen Aufgabe. Doch die Handhabung dieser systematisch aufgebauten Vorschriften kann sehr umständlich sein – vor allem dann, wenn mehrere Handbücher parallel zurate gezogen werden müssen.

In beengten Umgebungen wie dem Cockpit geht das Jonglieren mit Dokumenten mit Platzproblemen und fehlender Übersichtlichkeit einher. Auch sind die zweidimensionalen Abbildungen zu komplexen Montageaufgaben nicht immer selbsterklärend und können missverständlich sein, was im schlimmsten Fall zu Wartungsfehlern führt. Virtuelle 3D-Anleitungen, die mithilfe von AR-Datenbrillen eingeblendet werden und das Sichtfeld des Benutzers überlagern, könnten diese Probleme beheben und langfristig die zweidimensionalen Wartungsvorschriften ersetzen. Wie Augmented Reality Fluggerätemechaniker bei Wartungsaufgaben unterstützen kann, haben Forscherinnen und Forscher der Abteilung „Mensch-Maschine-Systeme“ am Fraunhofer FKIE im Projekt „Ariel“ am Beispiel der beiden Anwendungsfälle „Installation einer Bildschirmeinheit im Cockpit“ und „Wartung einer Batterie in der Werkstatt“ untersucht. Geprüft wurden die prototypischen Konzepte für den Airbus A400M mit den AR-Brillen Microsoft HoloLens 2 und Epson Moverio BT-300. Der Fokus lag auf der Gestaltung geeigneter 3D-Informationsvisualisierungen und Interaktionstechniken wie Gesten-, Blick- und Sprachsteuerung. An den Tests, die die Aspekte Usability, User Experience und Komfort berücksichtigten, waren fünf Fluggerätemechaniker beteiligt. Das Vorhaben wurde vom Bundesamt für Ausrüstung, Informationstechnik und Nutzung der Bundeswehr gefördert.

Individuelles Bedienkonzept für jede AR-Datenbrille

„Im Rahmen der Konzepterstellung haben wir unter anderem das Wissen von Domänenexperten berücksichtigt, die Vorgehensweise der Probanden am Arbeitsplatz analysiert, die persönliche Ausrüstung und deren Kompatibilität zu den AR-Datenbrillen überprüft, für jede Brille ein individuelles Bedienkonzept entwickelt und darauf basierend verschiedene Anforderungen in den Kategorien Nutzung, Organisation und Gestaltung abgeleitet“, beschreibt Martin Mundt, Wissenschaftler der Abteilung Mensch-Maschine-Systeme die Vorgehensweise.

Durchführung einer Batterieprüfung mit angeleiteter Widerstandsmessung in der Werkstatt - © Fraunhofer FKIE — Durchführung einer Batterieprüfung mit angeleiteter Widerstandsmessung in der Werkstatt © Fraunhofer FKIE

Die Konzepte wurden darüber hinaus an die sich deutlich unterscheidenden Anwendungsfälle angepasst: Zum einen an das Cockpit, das ausladende gestische Interaktion behindert und in dem darüber hinaus ein erhöhter Geräuschpegel vorherrscht, der eine mögliche Spracherkennung beeinflusst. Zum anderen wurde ein Konzept für die Werkstattumgebung mit ihrer kontrollierten Beleuchtungssituation erstellt, die sich gut zur automatischen Erkennung von Objekten eignet. „Wir haben die bestehenden Vorschriften erweitert und diese nun in 3D umgesetzt und durch Animationen ergänzt, die direkt am virtuell eingeblendeten Bauteil bestimmte Handlungsschritte veranschaulichen. Das können z. B. die Messung des Widerstands an der Batterie oder spezielle Notationen am Modell des Cockpits sein“, erläutert der Forscher.

Interaktionselemente lassen sich vielseitig bedienen

Das Team setzte auf multimodale Eingabetechniken, die es dem Nutzer ermöglichen, unabhängig von Einschränkungen durch die aktuelle Aufgabe oder bestimmte Umgebungsvariablen zu interagieren. Hierfür wurden verschiedene Interaktionselemente gestaltet, die sowohl mithilfe des Blicks als auch mit Gesten bedient werden konnten. Zur Vermeidung ungewollter Eingaben bei Nutzung der Blicksteuerung wurden verschiedene Herangehensweisen abgewogen. Umgesetzt wurde schließlich die Eingabe durch kurzes Verweilen des Blicks auf dem Interaktionselement. Dabei füllt sich, ähnlich einem Fortschrittsbalken, ein Indikator, der anzeigt, wie lange der Nutzer noch auf das Element blicken muss, um es auszulösen. Alternativ kann der Nutzer das Interaktionselement durch Drücken mit ausgestrecktem Zeigefinger aktivieren.

Intuitive Interaktion mit Datenbrille

Die allgemeine Interaktion wurde von den Probanden als intuitiv bewertet. Die Blick-steuerung wurde gelobt und von den meisten Testern gegenüber der Gesten- oder Sprachsteuerung bevorzugt. Die direkte Überlagerung mit relevanten Informationen während der Wartung der Batterie half, bestimmte Bauteile zu identifizieren. Animationen zur zusätzlichen Illustrierung von Montageaufgaben wurden positiv bewertet. Unsicherheiten traten hingegen bei der Bedienung mittels Gestensteuerung auf. Daher entwickelte das Forscherteam zusätzlich zu den Demonstratoren eine Lernanwendung, die Nutzern mittels entsprechender Animationen grundlegende Gesten und Interaktionstechniken vermittelt.

Interaktion mit digitalisierter Wartungsvorschrift zum Einbau einer Bildschirmeinheit im Cockpit des Luftfahrzeugs - © Fraunhofer FKIE — Interaktion mit digitalisierter Wartungsvorschrift zum Einbau einer Bildschirmeinheit im Cockpit des Luftfahrzeugs © Fraunhofer FKIE

Fernwartung als weitere Option

Im nächsten Schritt sollen Dokumentation und Notizen über den Arbeits- bzw. Ergebnisstand festgehalten und digitalisiert werden können. Darüber hinaus sollen Experten hinzugeschaltet werden können. »Hierbei wollen wir Aufgaben der Fernwartung adressieren, bei denen vor allem die Interaktion zwischen den Teilnehmern im Fokus steht“, so Mundt. Neben den analysierten Anwendungsfällen wollen die Forscherinnen und Forscher weitere Einsatzgebiete betrachten, da auch andere Branchen von dem Einsatz von Augmented Reality bei Wartung und Reparatur profitieren können. So ließe sich der Fachkräftemangel im Energiesektor in Ansätzen kompensieren – beispielsweise könnte AR weniger erfahrene Techniker beim Einbau von Wärmepumpen unterstützen, da die dreidimensionalen Schritt-für-Schritt-Anleitungen auch Einsteiger sicher durch die Wartungsaufgaben führen.

(Quelle: Pressemeldung Fraunhofer FKIE)