Projektbericht

Augmented Ubiquity – ein immersives Kunstwerk

Augmented Ubiquity ist ein immersives multimediales Kunstwerk im virtuellen Raum, das du visuell und auditiv frei erkunden kannst. Klang und Skulpturen bilden den Rahmen für die einzigartige Tanz- und Musikperformance. Lou Kilgers Komposition, die Tanzperformance von Ria Rehfuß, der VR-Raum von Manuel Steitz und die immersive Audioszene greifen perfekt ineinander und bilden so ein vollkommen neuartiges Kunstwerk.

Projektbeteiligte

Lou Kilger Sascha Etezazi Benedikt Samuel Jäger

Ria Rehfuß @riarehfuss
Manuel Steitz @wunderkammer_co
Hella Bachnetzer

Projektstatus

Finalisierung

Das Ergebnis

Hier kannst du eine 2D-Version der immersiven Szene erleben: Du kannst Sascha beim Erkunden der Szene über die Schulter schauen. Du siehst seine Ansicht groß, gleichzeitig siehst du unten links wie er sich in der „realen“ Welt bewegt. Du hörst dabei den dynamisch binauriliserten Ton, den Sascha gehört hat. Es ist natürlich nicht das Gleiche, wie es selbst zu erleben, aber es ist ziemlich nah dran!

Du bist in einem surrealen Raum.
Im Zentrum steht eine fremdartige Figur, um sie herum schweben abstrakte Skulpturen. Aus der Figur heraus hörst du eine tiefe Flöte. Von links hörst du kleine Stäbe und Muscheln klimpern, die Skulptur neben dir muss ein Windspiel sein. Du gehst auf die Figur zu, die Flöte wird lauter. Plötzlich eine Trommel, die Figur klappt zusammen.

EINE KOMPLETT NEUE KUNSTFORM

Augmented Ubiquity ist eine multimediale Komposition für den VR-Raum und nutzt alle Möglichkeiten des Mediums. Lou Kilger hat speziell für diesen Raum komponiert und mit Ria Rehfuß eine Tanzchoreographie erarbeitet. Beides haben wir mit neuster Technologie wie 4D-Gaussian Splats und dynamischer Binauralisierung vollvolumetrisch eingefangen. Wir erreichen in Audio und Video sechs Freiheitsgrade, so kannst du den Raum frei erkunden und ein neues Level der Immersion erleben; über Blick- und Hörwinkel entscheidest alleine du. Damit lassen wir 360°-Videos mit fester Hör- und Sehposition und 3DoF weit zurück.

Die Visuals

Für die Aufnahme der Tanzperformance haben wir unseren Bodyscanner genutzt. Der besteht aus 112 präzise ausgerichteten Kameras, mit denen alle Objekte, die in den Scanner passen, dreidimensional erfasst werden können. Allerdings eigentlich nur statisch, wir wollten aber eine Tanzperformance aufnehmen. Dafür haben wir einen neuen Workflow entwickelt und unseren Bodyscanner aus seiner Komfortzone gelockt. Dadurch konnten wir die ganze Performance hochauflösend und dreidimensional aufnehmen. Zur Entspannung durfte der Bodyscanner dann die drei Skulpturen dann wieder statisch erfassen.

Die einzelnen Perspektiven wurden dann von Manuel Steitz mittels 4D-Gaussian-Splat-Technologie in ein sich bewegendes 3D-Modell verwandelt. Diese Technologie basiert auf Neural Radiance Fields und Machine Learning. Der Clou: 4D-Gaussian-Splats sind fotorealistisch und können besonders Transparenzen und Spiegelungen beeindruckend einfangen.

Die Performance

Für eine Tanzbühne ist unser Bodyscanner eher klein... Es war also klar: wir brauchen eine professionelle Tänzerin, die auch auf engem Raum eine fesselnde Darbietung umsetzen kann. Ria Rehfuß hat ihre Performance in enger Zusammenarbeit mit Lou Kilger entwickelt.

Die Komposition

Lou Kilger hat die Komposition „Augmented Ubiquity“ von Anfang an dafür konzipiert, dass du sie frei erkunden kannst. Das ist wichtig, da du die Hörposition in Augmented Ubiquity komplett frei wählen kannst, die Komposition aber an jedem Punkt im Raum funktionieren muss. Dafür hat Lou Kilger genau überlegt, wo welche Klänge im Raum positioniert sein müssen und wie sie sich gegenseitig beeinflussen.

Stell es dir mal anders rum vor: wenn du bei einer Band direkt bei den Drums stehst, oder im Orchester bei den Posaunen, hörst du dann noch die Musik so, wie sie eigentlich gemeint war?

Lou ist hier echt neue künstlerische Wege gegangen!

DIE KLANGMISCHUNG

Wir haben innovative Audiotechnologie genutzt, um ein ganz neues Hörerlebnis für dich zu schaffen. Mit SPAT Revolution haben wir dem visuellen VR-Raum die passende Akustik verpasst und die Klänge exakt positioniert und ausgerichtet. Für die dynamische Binauralisierung haben wir auch hier der Software etwas Besonderes entlockt; die ständigen Änderungen der Hörposition sind dort eigentlich nicht vorgesehen.

Bei „Augemented Ubiquity“ erlebst du die Audioszene binaural, sie wird dynamisch an deine Position und Kopfbewegungen angepasst. Das bedeutet, dass jedes deiner Ohren genau das Audiosignal bekommt, das es benötigt, um die Schallquellen und den Raum von der richtigen Richtung und mit dem richtigen Abstand zu hören. Dadurch erreichen wir auch auf Audioebene ein neues Level an Immersion.

Wie gehts es weiter?

Wir finden Augmented Ubiquity echt eindrucksvoll. Momentan kannst du Augmented Ubiquity bei uns im KIO erleben. Unser Ziel ist es, das Werk als selbstständige App für VR Brillen verfügbar zu machen, sodass noch mehr Menschen es erkunden können.