HEC Blog: Technik & Methoden
Verfasst am 15. November 2018
Ein Fernglas ins mathematische Wunderland

Showroom für Mixed Reality

Das Erle­ben von virtu­el­ler und erwei­ter­ter Reali­tät ist eine span­nende Sache. Moderne HMDs (Head Moun­ted Displays) sind buch­stäb­lich ein „Fern­glas ins mathe­ma­ti­sche Wunder­land“, wie es Ivan E. Suther­land tref­fend formu­lierte. Einzi­ges Problem daran: Genauso wie beim Fern­glas kann nur, wer selbst ein HMD trägt, wirk­lich nach­voll­zie­hen, was genau in der der virtu­el­len Umge­bung geschieht. Bis es so weit ist, dass HMDs in jedem Haus­halt und Betrieb vorhan­den sind, brau­chen wir einen Weg, um Konzepte einem brei­ten Publi­kum zugäng­lich zu machen. Zu diesem Zweck hat die HEC einen Showroom einge­rich­tet, der es uns und unse­ren Kunden ermög­licht, die von der HEC entwi­ckel­ten Soft­ware-Lösun­gen noch besser präsen­tie­ren zu können.

Mixed Reality Video für virtuelle Realität

Wenn es darum geht, virtu­elle Inhalte mit einem Publi­kum zu teilen oder als ,Mixed Reality Videos' aufzu­zeich­nen, erge­ben sich einige tech­ni­sche Hürden. Die ,Ego-Perspek­tive', also die Sicht des Users, wird der tatsäch­li­chen Raum­wahr­neh­mung nur bedingt gerecht. Idea­ler­weise benö­tigt man eine Darstel­lung, die zeigt, wie die Benut­zer sich in den virtu­el­len Umge­bung bewe­gen und was genau sie da machen. Nur so wird die Immersion, also das Eintauchen in die virtuelle Welt, auch von außen nachvollziehbar.

 

Wie der Name ,Mixed Reality' vermu­ten lässt, werden hier mehrere Reali­tä­ten zusam­men­ge­bracht. Damit das funk­tio­niert, benö­ti­gen wir zwei Arten von Kame­ras: Eine in der realen Welt und eine in der virtu­el­len. Die Posi­tio­nen dieser beiden Kame­ras müssen exakt aufein­an­der abge­stimmt sein, damit das Mixed Reality Video nach der Zusam­men­füh­rung rich­tig darge­stellt wird.

Um Posi­tion, Blick­win­kel und Neigung der Kame­ras anzu­glei­chen, benut­­zen wir die Tracking­­funk­tion der HTC Vive-Control­­ler. Dank des präzi­­sen Trackings sind wir in der Lage, uns mit der Kamera um den Benut­­zer herum zu bewe­­gen, und können so in die Welt hinein­schauen, in der er oder sie sich gerade befin­­det. Diese zwei paral­lel geführ­ten Video­auf­­nah­­men werden in Echt­­zeit zusam­­men­­ge­­führt. Dabei wird alles, was in der realen Welt grün ist, durch Chro­­ma­key­ing mit der Video­auf­­nahme aus der virtu­el­len Welt ersetzt. Außer den zwei Ebenen, Video aus der realen Kamera und aus der virtu­el­len Kamera, gibt es auch noch eine soge­­nannte ,Vorder­­grun­­de­­bene'. Diese maskiert die Objekte aus der virtu­el­len Welt, welche sich vor dem Benut­­zer befin­­den, und stellt sie in einer sepa­ra­ten Ebene dar, welche über den beiden vorhe­ri­­gen liegt. So ist es möglich, eine Verde­­ckung der virtu­el­len Objekte im Raum darzu­s­tel­len, was die Illu­­sion der Echt­heit enorm verstärkt. Nur so wirkt das Mixed Reality Video wirk­­lich über­­­zeu­­gend.

Die Welt in deinen Händen

Wenn man in der virtu­el­len Welt das HEC ,Univer­sum, in den Händen hält, ist es erwar­tungs­ge­mäß so, dass eine Hand, die hinter der Welt­ku­gel ist, auch auf dem Mixed Reality Video verdeckt wird. Die andere Hand hinge­gen befin­det sich vor den virtu­el­len Objek­ten.

Tech­nisch wird dieser Prozess durch ein Zusam­men­spiel von Unity und OBS (Open Broad­cas­ting Soft­ware) erzeugt. Dabei ist die Zeit für die Konfi­gu­ra­tion der echten und der virtu­el­len Kamera nicht zu unter­schät­zen. Inzwi­schen gibt es auch passende Plug-ins, welche die Einrich­tung verein­fa­chen.

Mixed Reality Video für erweiterte Realität (HoloLens)

 

Die wahre Stärke von Virtual und Augmen­ted Reality liegt darin, Projekte gemein­sam im Team planen, visua­li­sie­ren und reali­sie­ren zu können. Das lässt sich mit der HoloLens bereits umset­zen. Auch hier erge­ben sich ähnli­che Präsen­ta­ti­ons­hür­den. Im Vergleich zu VR-Anwen­dun­gen spielt bei der Augmen­ted Reality die reale Umge­bung eine wesent­lich wich­ti­gere Rolle, wodurch der Aufnah­me­qua­li­tät beson­ders wich­tig ist. Da die Quali­tät der einge­bau­ten HoloLens-Kamera nicht den aktu­el­len Stan­dards für FullHD oder 4K entspricht, verwen­den wir eine spezi­elle Konstruk­tion, die es uns ermög­licht, die Sicht des HoloLens-Users mit einer hoch­auf­lö­sen­den Kamera zu simu­lie­ren.

Vielen Dank an Lucia Mende­lova und Malte Well­mann, die an der Erstel­lung des Beitrags mitge­ar­bei­tet haben.

Hier geht es zur Seite Mixed Reality bei der HEC.

Ansprechpartner für AR/VR-Lösungen sind

AR/VR
Branche Industrie und Logistik
Mixed Reality