Unser Zauberkasten hat grüne Wände – der Showroom für Mixed Reality

Blog – Technik und Methoden
Verfasst von Dennis Hoffmann am 9. November 2018

Einleitung

Das Erleben von Virtueller- und Erweiterter Realität ist eine spannende Sache. Moderne HMDs (Head Mounted Displays) sind buchstäblich ein „Fernglas ins mathematische Wunderland“ wie es Ivan E. Sutherland treffend formulierte. Einziges Problem daran: Genauso wie beim Fernglas kann nur wer selbst ein HMD trägt, wirklich nachvollziehen, was genau in der der virtuellen Umgebung geschieht.  Bis es soweit ist, dass HMDs in jedem Haushalt und Betrieb vorhanden sind, brauchen wir einen Weg um Konzepte einem breiten Publikum zugänglich zu machen. Zu diesem Zweck hat die HEC einen Showroom eingerichtet, der es uns und unseren Kunden ermöglicht, die von HEC entwickelten Software-Lösungen noch besser präsentieren zu können.

Mixed Reality Video für virtuelle Realität

Wenn es darum geht virtuelle Inhalte mit einem Publikum zu teilen oder als „Mixed Reality Videos“ aufzuzeichnen, ergeben sich einige technische Hürden. Die „Ego-Perspektive“, also die Sicht des Users, wird der tatsächlichen Raumwahrnehmung nur bedingt gerecht. Idealerweise benötigt man eine Darstellung, die zeigt, wie die Benutzer sich in den virtuellen Umgebung bewegen und was genau sie da machen. Nur so wird die Immersion, also das Eintauchen in die virtuelle Welt, auch von außen nachvollziehbar.

Wie der Name „Mixed Reality“ vermuten lässt, werden hier mehrere Realitäten zusammengebracht. Damit das funktioniert, benötigen wir zwei Arten von Kameras: Eine in der realen Welt und eine in der virtuellen. Die Positionen dieser beiden Kameras müssen exakt aufeinander abgestimmt sein, damit das Mixed Reality Video nach der Zusammenführung richtig dargestellt wird.
Um Position, Blickwinkel und Neigung der Kameras anzugleichen, benutzen wir die Trackingfunktion der HTC Vive-Controller. Dank des präzisen Trackings sind wir in der Lage uns mit der Kamera um den Benutzer herum zu bewegen und können so in die Welt hineinschauen in der er oder sie sich gerade befindet. Diese zwei parallel geführten Videoaufnahmen werden in Echtzeit zusammengeführt. Dabei wird alles, was in der realen Welt grün ist, durch Chromakeying mit der Videoaufnahme aus der virtuellen Welt ersetzt. Außer den zwei Ebenen, Video aus der realen Kamera und aus der virtuellen Kamera, gibt es auch noch eine sogenannte “Vordergrundebene”. Diese maskiert die Objekte aus der virtuellen Welt, welche sich vor dem Benutzer befinden und stellt sie in einer separaten Ebene dar, welche über den beiden vorherigen liegt. So ist es möglich, eine Verdeckung der virtuellen Objekte im Raum darzustellen, was die Illusion der Echtheit enorm verstärkt. Nur so wirkt das Mixed Reality Video wirklich überzeugend.

Wenn man in der virtuellen Welt das HEC „Univerum“ in den Händen hält, ist es erwartungsgemäß so, dass eine Hand, die hinter der Weltkugel ist, auch auf dem Mixed Reality Video verdeckt wird. Die andere Hand hingegen befindet sich vor den virtuellen Objekten.

Technisch wird dieser Prozess durch ein Zusammenspiel von Unity und OBS (Open Broadcasting Software) erzeugt. Dabei ist die Zeit für die Konfiguration der echten und der virtuellen Kamera nicht zu unterschätzen. Inzwischen gibt es auch passende Plug-ins, welche die Einrichtung vereinfachen.

Mixed Reality Video für erweiterte Realität (HoloLens)

Die wahre Stärke von Virtual- und Augmented Reality liegt darin, Projekte gemeinsam im Team planen, visualisieren und realisieren zu können. Das lässt sich mit der der HoloLens bereits umsetzen. Auch hier ergeben sich ähnliche Präsentationshürden. Im Vergleich zu VR-Anwendungen spielt bei der Augmented Reality die reale Umgebung eine wesentlich wichtigere Rolle, wodurch der Aufnahmequalität besonders wichtig ist. Da die Qualität der eingebauten HoloLens-Kamera nicht den aktuellen Standards für FullHD oder 4K entspricht, verwenden wir eine spezielle Konstruktion, die es uns ermöglicht, die Sicht des Hololens-Users mit einer hochauflösenden Kamera zu simulieren.

Vielen Dank an Lucia Mendelova und Malte Wellmann, die an der Erstellung des Beitrages mitgearbeitet haben.

Hier geht es zur Mixed Reality bei der HEC