Behind E-World´s HoloLens® APP

Blog – Technik & Methoden
Verfasst von Gastautor*in, Marco Bronner am 14. Februar 2018

Wie können wir mit unse­rem Know-how und unse­rer Bran­chen­er­fah­rung die Besu­cher der e-world durch eine erlebbare Anwendung verblüffen und überzeugen? Gemeinsam mit unserem Schwesterunternehmen neusta sd west aus Essen entwickelten wir eine Idee, wie Predictive Maintenance bzw. Alarming von technischen Anlagen durch
 

reali­siert und demons­triert werden kann. Bei der Augmen­ted Reality (AR) wird die Reali­tät – also alle Dinge, die man gerade sieht – mit zusätz­li­chen Infor­ma­tio­nen in Form von Texten, Grafi­ken, Anima­tio­nen, Videos, stati­schen oder beweg­ten 3D-Objek­ten ergänzt. Die Virtual Reality (VR) ermög­licht es den Nutzern, eine virtu­elle 360 Grad Welt zu erle­ben, diese von allen Seiten zu betrach­ten, sich in ihr zu bewe­gen und im besten Falle sogar mit dieser zu inter­a­gie­ren.

Die Anlage

Es wird ein Modell einer tech­ni­schen Anlage darge­stellt, welches einen Volu­men­durch­fluss (Bälle, die sich in einer Leitung bewe­gen) simu­liert. Hierzu wird die Kugel­bahn Fischertechnik Dynamic XL im größtmöglichen Standardaufbau/-modell verwendet. Auf der Anlage laufen Metallkugeln, welche über verschiedene Motoren und Mechanismen in einem Kreislauf das System durchlaufen.

Er werden zusätz­lich verschie­dene Senso­ren an der Anlage befes­tigt, wie ein Tast­sen­sor am Aufzug oder eine Licht­schranke am Rad (basie­rend auf dem Lego Mind­storms NXT2 Set), außer­dem betrach­tet eine auf die Murmel­bahn gerich­tete Kamera mit Bilder­ken­nung für die Murmeln den Ablauf der Anlage. Die Sens­or­da­ten werden in die neusta sd west Lösung zur auto­ma­ti­schen Betriebs­stö­rungs­er­ken­nung (ABE) überführt. Dort läuft ein Modell, welches eine Anomalieerkennung auf den erhaltenen Sensordaten durchführt. Wenn Störungen erkannt werden, so werden diese auf dem zugehörigen Alerting-Dashboard angezeigt und stehen zur Weiterbearbeitung zur Verfügung.

 

Über eine REST/JSON-Schnitt­stelle pollt zeit­gleich die HEC Lösung zur Wartungs- und Instand­hal­tungs­pla­nung und -doku­men­ta­tion (WAIS) periodisch das ABE System auf neue Alarme. Wenn ein neuer Alarm (z.B. mit einer bestimmten Kategorie) gefunden wird, wird in WAIS ein Wartungs-/Prüfauftrag an ein hinterlegtes Wartungsteam eröffnet. Die Wartungsaufträge können sowohl in der WAIS-Webapplikation als auch auf den mobilen Clients visualisiert und weiterverarbeitet werden (z.B. Status auf durchgeführt setzen etc).

Basis für die Darstel­lung und Verar­bei­tung der Daten ist die Pflege entspre­chen­der Stamm-/Anla­gen­da­ten sowohl in ABE als auch in WAIS.

Die glei­che Schnitt­stelle, welche auch von WAIS genutzt wird, wird von einer zusätz­li­chen AR (HoloLens)-App verwen­det. In der HoloLens-App werden unter­schied­li­che Alarme fest defi­niert und bei Auftre­ten eines Alarms wird der entspre­chende Bereich der Anlage mit visu­el­len Hinwei­sen in einem Over­lay verse­hen. Zur Initia­li­sie­rung der HoloLens ist die Erken­nung der Anlage z.B. mit Hilfe eines an der Anlage ange­brach­ten QR-Codes erfor­der­lich.

Die  Technik der HoloLens

Die HoloLens ist das aktu­elle HMD (head moun­ted device) von Micro­soft und visua­li­siert Holo­gramme in die reale Welt. Der große Vorteil dieser Tech­no­lo­gie ist, dass der Nutzer seine Hände komplett frei hat und die HoloLens mittels Gesten oder Spra­che steu­ern kann.

Ziel ist es, die Infor­ma­tio­nen dann einzu­blen­den, wenn der Nutzer sie braucht, ohne dass dafür ein Kommando notwen­dig ist. Im Anwen­dungs­bei­spiel für die E-world soll die Murmel­bahn den Fluss von Wasser exem­pla­risch darstel­len. Probleme beim Flie­ßen sollen sicht­bar gemacht werden.

Für die Orien­tie­rung im Raum und das Finden der Murmel­bahn verwen­den wir Vufo­ria, ein Augmen­ted Reality Frame­work für die Bilder­ken­nung. Dafür melden wir uns bei dem EventSys­tem von Vufo­ria an und prüfen, ob das Bild erkannt wurde. Entspre­chend wird die Anzeige in der HoloLens ange­passt.

Ein Beispiel: Im Video sind zwei Quadrate in der oberen rech­ten Ecke sicht­bar. Zu Beginn des Videos ist das eine rot. Es wird grün, sobald das Bild neben der Murmel­bahn ange­schaut wird. Genau das erreicht der folgende Code:

public void OnTrackableStateChanged(
    TrackableBehaviour.Status previousStatus, 
    TrackableBehaviour.Status newStatus)
{
    if (newStatus == TrackableBehaviour.Status.EXTENDED_TRACKED ||
        newStatus == TrackableBehaviour.Status.TRACKED)
    {
        ImageNotFound.SetActive(false);
        ImageFound.SetActive(true);
    }
    else
    {
        ImageNotFound.SetActive(true);
        ImageFound.SetActive(false);
    }
}

Ab jetzt kommu­ni­ziert die HoloLens mit dem Server von neusta sd west und befragt alle fünf Sekun­den eine REST-Schnitt­stelle, ob ein Alarm vorliegt. Ist das der Fall, wird der Alarm entspre­chend einge­blen­det. Insge­samt wurden fünf verschie­dene Alarme mit jeweils einer eige­nen ID sowie einer Fehler­be­schrei­bung defi­niert. Über­tra­gen wird von der REST-Schnitt­stelle ein JSON Array, welches durch­lau­fen und verar­bei­tet wird, sofern Einträge vorhan­den sind werden diese mit acti­va­teEr­ror visua­li­siert.

foreach (ErrorClass alert in data.Items)
{
    activateError(alert);
}

Die größte Heraus­for­de­rung war es die Alarme präg­nant und an der rich­ti­gen Posi­tion darzu­stel­len.

Nicht alle im Austausch mit neusta sd west ins Spiel gebrach­ten und wünschens­wer­ten Vorstel­lun­gen sind für den Augmen­ted Reality Einsatz geeig­net. Dazu gehört beispiels­weise die Murmel­bahn als 3D Objekt nach­zu­bauen, so dass einzelne Bauteile im Falle eines Alarms hervor­ge­ho­ben werden können. Diese Lösung würde nicht unse­rer Idee von Augmen­ted Reality entspre­chen, bei der dem Nutzer nur die wich­tigs­ten Infor­ma­tio­nen zusätz­lich einge­blen­det werden, damit es nicht zur Reiz­über­flu­tung kommt. Der Nach­bau der gesam­ten Anlage wäre für den Einsatz in Virtu­ell Reality geeig­net. Bei Augmen­ted Reality und Virtual Reality ist es wich­tig, die opti­male Nutzung der Tech­no­lo­gien heraus­zu­fin­den und konse­quent umzu­set­zen. neusta sd west und die HEC haben das mit der gefun­de­nen Lösung erreicht.

In der aktu­el­len Umset­zung begin­nen rote Kugeln zu pulsie­ren um die Posi­tion des Alarms anzu­zei­gen. Der Nutzer kann frei um die Murmel­bahn herum gehen und von jeder Posi­tion aus die Alarme betrach­ten und den Fehler­hin­weis lesen.
Projiziert auf eine echte Anlage unterstützt die genaue Visualisierung der Alarme einen Techniker bei der Fehlersuche. Er erhält Freiraum bei der Arbeit (hands free), dabei können zusätzliche Hilfestellungen wie eine Anleitung für die Durchführung der Reparatur eingeblendet werden.