Behind E-World´s HoloLens® APP

Blog – Technik und Methoden
Verfasst von Marco Bronner am 14. Februar 2018

Wie können wir mit unserem Know-how und unserer Branchenerfahrung die Besucher der e-world durch eine erlebbare Anwendung verblüffen und überzeugen? Gemeinsam mit unserem Schwesterunternehmen neusta sd west aus Essen entwickelten wir eine Idee, wie Predictive Maintenance bzw. Alarming von technischen Anlagen durch

  • Data Science
  • Zeitreihenplattform
  • Big Data
  • Data Lake
  • Internet of Things
  • Augmented Reality/Virtual Reality und
  • Wartungs- und Instandhaltungssoftware

realisiert und demonstriert werden kann.
Bei der Augmented Reality (AR) wird die Realität – also alle Dinge, die man gerade sieht – mit zusätzlichen Informationen in Form von Texten, Grafiken, Animationen, Videos, statischen oder bewegten 3D-Objekten ergänzt. Die Virtual Reality (VR) ermöglicht es den Nutzern, eine virtuelle 360 Grad Welt zu erleben, diese von allen Seiten zu betrachten, sich in ihr zu bewegen und im besten Falle sogar mit dieser zu interagieren.

Die  Anlage

Es wird ein Modell einer technischen Anlage dargestellt, welches einen Volumendurchfluss (Bälle, die sich in einer Leitung bewegen) simuliert. Hierzu wird die Kugelbahn Fischertechnik Dynamic XL im größtmöglichen Standardaufbau/-modell verwendet. Auf der Anlage laufen Metallkugeln, welche über verschiedene Motoren und Mechanismen in einem Kreislauf das System durchlaufen.

Er werden zusätzlich verschiedene Sensoren an der Anlage befestigt, wie ein Tastsensor am Aufzug oder eine Lichtschranke am Rad (basierend auf dem Lego Mindstorms NXT2 Set), außerdem betrachtet eine auf die Murmelbahn gerichtete Kamera mit Bilderkennung für die Murmeln den Ablauf der Anlage. Die Sensordaten werden in die neusta sd west Lösung zur automatischen Betriebsstörungserkennung (ABE) überführt. Dort läuft ein Modell, welches eine Anomalieerkennung auf den erhaltenen Sensordaten durchführt. Wenn Störungen erkannt werden, so werden diese auf dem zugehörigen Alerting-Dashboard angezeigt und stehen zur Weiterbearbeitung zur Verfügung.

Über eine REST/JSON-Schnittstelle pollt zeitgleich die HEC Lösung zur Wartungs- und Instandhaltungsplanung und -dokumentation (WAIS) periodisch das ABE System auf neue Alarme. Wenn ein neuer Alarm (z.B. mit einer bestimmten Kategorie) gefunden wird, wird in WAIS ein Wartungs-/Prüfauftrag an ein hinterlegtes Wartungsteam eröffnet. Die Wartungsaufträge können sowohl in der WAIS-Webapplikation als auch auf den mobilen Clients visualisiert und weiterverarbeitet werden (z.B. Status auf durchgeführt setzen etc).

Basis für die Darstellung und Verarbeitung der Daten ist die Pflege entsprechender Stamm-/Anlagendaten sowohl in ABE als auch in WAIS.

Die gleiche Schnittstelle, welche auch von WAIS genutzt wird, wird von einer zusätzlichen AR (HoloLens)-App verwendet. In der HoloLens-App werden unterschiedliche Alarme fest definiert und bei Auftreten eines Alarms wird der entsprechende Bereich der Anlage mit visuellen Hinweisen in einem Overlay versehen. Zur Initialisierung der HoloLens ist die Erkennung der Anlage z.B. mit Hilfe eines an der Anlage angebrachten QR-Codes erforderlich.

Die  Technik der HoloLens

Die HoloLens ist das aktuelle HMD (head mounted device) von Microsoft und visualisiert Hologramme in die reale Welt. Der große Vorteil dieser Technologie ist, dass der Nutzer seine Hände komplett frei hat und die HoloLens mittels Gesten oder Sprache steuern kann.

Ziel ist es, die Informationen dann einzublenden, wenn der Nutzer sie braucht, ohne dass dafür ein Kommando notwendig ist. Im Anwendungsbeispiel für die E-world soll die Murmelbahn den Fluss von Wasser exemplarisch darstellen. Probleme beim Fließen sollen sichtbar gemacht werden.

Für die Orientierung im Raum und das Finden der Murmelbahn verwenden wir Vuforia, ein Augmented Reality Framework für die Bilderkennung. Dafür melden wir uns bei dem EventSystem von Vuforia an und prüfen, ob das Bild erkannt wurde. Entsprechend wird die Anzeige in der HoloLens angepasst.

Ein Beispiel: Im Video sind zwei Quadrate in der oberen rechten Ecke sichtbar. Zu Beginn des Videos ist das eine rot. Es wird grün, sobald das Bild neben der Murmelbahn angeschaut wird. Genau das erreicht der folgende Code:

Ab jetzt kommuniziert die HoloLens mit dem Server von neusta sd west und befragt alle fünf Sekunden eine REST-Schnittstelle, ob ein Alarm vorliegt. Ist das der Fall, wird der Alarm entsprechend eingeblendet. Insgesamt wurden fünf verschiedene Alarme mit jeweils einer eigenen ID sowie einer Fehlerbeschreibung definiert. Übertragen wird von der REST-Schnittstelle ein JSON Array, welches durchlaufen und verarbeitet wird, sofern Einträge vorhanden sind werden diese mit activateError visualisiert.

Die größte Herausforderung war es die Alarme prägnant und an der richtigen Position darzustellen.

Nicht alle im Austausch mit neusta sd west ins Spiel gebrachten und wünschenswerten Vorstellungen sind für den Augmented Reality Einsatz geeignet. Dazu gehört beispielsweise die Murmelbahn als 3D Objekt nachzubauen, so dass einzelne Bauteile im Falle eines Alarms hervorgehoben werden können. Diese Lösung würde nicht unserer Idee von Augmented Reality entsprechen, bei der dem Nutzer nur die wichtigsten Informationen zusätzlich eingeblendet werden, damit es nicht zur Reizüberflutung kommt. Der Nachbau der gesamten Anlage wäre für den Einsatz in Virtuell Reality geeignet. Bei Augmented Reality und Virtual Reality ist es wichtig, die optimale Nutzung der Technologien herauszufinden und konsequent umzusetzen. neusta sd west und die HEC haben das mit der gefundenen Lösung erreicht.

In der aktuellen Umsetzung beginnen rote Kugeln zu pulsieren um die Position des Alarms anzuzeigen. Der Nutzer kann frei um die Murmelbahn herum gehen und von jeder Position aus die Alarme betrachten und den Fehlerhinweis lesen.
Projiziert auf eine echte Anlage unterstützt die genaue Visualisierung der Alarme einen Techniker bei der Fehlersuche. Er erhält Freiraum bei der Arbeit (hands free), dabei können zusätzliche Hilfestellungen wie eine Anleitung für die Durchführung der Reparatur eingeblendet werden.

 

Ansprechpartner: Marco Bronner, HEC