Unser Zauberkasten hat grüne Wände - der Showroom für Mixed Reality!

Blog – Technik & Methoden
Verfasst am 15. November 2018

Einleitung

Das Erle­ben von Virtu­el­ler- und Erwei­ter­ter Reali­tät ist eine span­nende Sache. Moderne HMDs (Head Moun­ted Displays) sind buch­stäb­lich ein „Fern­glas ins mathe­ma­ti­sche Wunder­land“ wie es Ivan E. Suther­land tref­fend formu­lierte. Einzi­ges Problem daran: Genauso wie beim Fern­glas kann nur wer selbst ein HMD trägt, wirk­lich nach­voll­zie­hen, was genau in der der virtu­el­len Umge­bung geschieht.  Bis es soweit ist, dass HMDs in jedem Haus­halt und Betrieb vorhan­den sind, brau­chen wir einen Weg um Konzepte einem brei­ten Publi­kum zugäng­lich zu machen. Zu diesem Zweck hat die HEC einen Showroom einge­rich­tet, der es uns und unse­ren Kunden ermög­licht, die von HEC entwi­ckel­ten Soft­ware-Lösun­gen noch besser präsen­tie­ren zu können.

Mixed Reality Video für virtuelle Realität

Wenn es darum geht virtu­elle Inhalte mit einem Publi­kum zu teilen oder als „Mixed Reality Videos“ aufzu­zeich­nen, erge­ben sich einige tech­ni­sche Hürden. Die „Ego-Perspek­tive“, also die Sicht des Users, wird der tatsäch­li­chen Raum­wahr­neh­mung nur bedingt gerecht. Idea­ler­weise benö­tigt man eine Darstel­lung, die zeigt, wie die Benut­zer sich in den virtu­el­len Umge­bung bewe­gen und was genau sie da machen. Nur so wird die Immersion, also das Eintauchen in die virtuelle Welt, auch von außen nachvollziehbar.

 

Wie der Name „Mixed Reality“ vermu­ten lässt, werden hier mehrere Reali­tä­ten zusam­men­ge­bracht. Damit das funk­tio­niert, benö­ti­gen wir zwei Arten von Kame­ras: Eine in der realen Welt und eine in der virtu­el­len. Die Posi­tio­nen dieser beiden Kame­ras müssen exakt aufein­an­der abge­stimmt sein, damit das Mixed Reality Video nach der Zusam­men­füh­rung rich­tig darge­stellt wird.

Um Posi­tion, Blick­win­kel und Neigung der Kame­ras anzu­glei­chen, benut­­zen wir die Tracking­­funk­tion der HTC Vive-Control­­ler. Dank des präzi­­sen Trackings sind wir in der Lage uns mit der Kamera um den Benut­­zer herum zu bewe­­gen und können so in die Welt hinein­schauen in der er oder sie sich gerade befin­­det. Diese zwei paral­lel geführ­ten Video­auf­­nah­­men werden in Echt­­zeit zusam­­men­­ge­­führt. Dabei wird alles, was in der realen Welt grün ist, durch Chro­­ma­key­ing mit der Video­auf­­nahme aus der virtu­el­len Welt ersetzt. Außer den zwei Ebenen, Video aus der realen Kamera und aus der virtu­el­len Kamera, gibt es auch noch eine soge­­nannte “Vorder­­grun­­de­­bene”. Diese maskiert die Objekte aus der virtu­el­len Welt, welche sich vor dem Benut­­zer befin­­den und stellt sie in einer sepa­ra­ten Ebene dar, welche über den beiden vorhe­ri­­gen liegt. So ist es möglich, eine Verde­­ckung der virtu­el­len Objekte im Raum darzu­s­tel­len, was die Illu­­sion der Echt­heit enorm verstärkt. Nur so wirkt das Mixed Reality Video wirk­­lich über­­­zeu­­gend.

Die Welt in deinen Händen

Wenn man in der virtu­el­len Welt das HEC „Uni­ver­sum“ in den Händen hält, ist es erwar­tungs­ge­mäß so, dass eine Hand, die hinter der Welt­ku­gel ist, auch auf dem Mixed Reality Video verdeckt wird. Die andere Hand hinge­gen befin­det sich vor den virtu­el­len Objek­ten.

Tech­nisch wird dieser Prozess durch ein Zusam­men­spiel von Unity und OBS (Open Broad­cas­ting Soft­ware) erzeugt. Dabei ist die Zeit für die Konfi­gu­ra­tion der echten und der virtu­el­len Kamera nicht zu unter­schät­zen. Inzwi­schen gibt es auch passende Plug-ins, welche die Einrich­tung verein­fa­chen.

Mixed Reality Video für erweiterte Realität (HoloLens)

 

Die wahre Stärke von Virtual- und Augmen­ted Reality liegt darin, Projekte gemein­sam im Team planen, visua­li­sie­ren und reali­sie­ren zu können. Das lässt sich mit der der HoloLens bereits umset­zen. Auch hier erge­ben sich ähnli­che Präsen­ta­ti­ons­hür­den. Im Vergleich zu VR-Anwen­dun­gen spielt bei der Augmen­ted Reality die reale Umge­bung eine wesent­lich wich­ti­gere Rolle, wodurch der Aufnah­me­qua­li­tät beson­ders wich­tig ist. Da die Quali­tät der einge­bau­ten HoloLens-Kamera nicht den aktu­el­len Stan­dards für FullHD oder 4K entspricht, verwen­den wir eine spezi­elle Konstruk­tion, die es uns ermög­licht, die Sicht des Holo­lens-Users mit einer hoch­auf­lö­sen­den Kamera zu simu­lie­ren.

Vielen Dank an Lucia Mende­lova und Malte Well­mann, die an der Erstel­lung des Beitra­ges mitge­ar­bei­tet haben.

Hier geht es zur Seite Mixed Reality bei der HEC

Ansprechpartner für AR/VR-Lösungen sind

AR/VR
Industrie und Logistik
Mixed Reality