Projektbericht

Interface Modules für Musical XR

Im Rahmen dieses Kooperationsprojekts mit dem Center for Music and Film Informatics (CEMFI) der Hochschule für Musik Detmold wurde ein Brückenmodul zur Integration des SPINE-Systems für physische Interfaces in die IVES-3D-Engine für MAX entwickelt.

Projektbeteiligte

Damian Dziwis
Aristotelis Hadjakos (CEMFI - Center of Music and Film Informatics)

Projektstatus

Weiterentwicklung

ÜBERSICHT

Die Möglichkeiten und die Verfügbarkeit von immersiven Technologien im Bereich der erweiterten Realität (XR) eröffnen neue Perspektiven im Bereich der musikalischen XR. Dazu gehören neue Ideen für Instrumente, die man in der virtuellen Realität spielt (VRMIs) und auch neue Ansätze für die Rezeption, Komposition und Aufführungspraxis.

Aktuelle XR-Geräte für Virtual und Augmented Reality zeigen nicht nur virtuelle Inhalte an, sondern können auch reale und virtuelle Umgebungen miteinander verbinden. So entstehen hybride Mixed Realities. Neben den Standardschnittstellen wie Controllern oder Hand-Tracking von XR-Systemen für die Interaktion mit VRMIs kann die Entwicklung eigener musikalischer Schnittstellen erweiterte physische Möglichkeiten und Erfahrungen für die Interaktion mit VRMIs und anderen virtuellen, klangerzeugenden Systemen bieten.

In diesem Forschungsprojekt wurde ein modulares Open-Source-Schnittstellensystem entwickelt, um VRMIs mit physischen musikalischen Interfaces oder interaktiven Installationen zu realisieren.

Für die Erstellung des Tools wurde das sensorbasierte SPINE-Musikinterface-Toolkit mit der modularen 3D-Engine IVES für die MAX-Programmierumgebung verbunden. Die Kombination dieser Systeme mit ihrem No-Code-/No-Soldering-Ansatz macht sie zu einem anpassbaren Werkzeug, mit dem sich VRMIs oder erweiterte virtuelle Umgebungen mit entsprechenden physischen Interfaces schnell erstellen lassen.

UMSETZUNG

Das Tool, das in diesem Projekt entwickelt wurde, soll dabei helfen, grafische virtuelle Interfaces mit passenden physischen Schnittstellen für virtuelle Instrumente und ähnliche Anwendungen zu erstellen. Es ermöglicht schnell 3D-Objekte, Umgebungen und 3D-Sound zu erstellen, die Steuerung erfolgt über individuelle physische Interfaces, die auf Sensoren basieren. Resultierende Instrumente können für konventionelle PCs, sowie für XR-Geräte erstellt werden.

Die Anforderungen des Tools wurden an die Zielgruppe, vor allem im Bereich der Computermusik, angepasst.

Es ermöglicht, dass Nutzer:innen schnell virtuelle Instrumente und physikalische Interfaces entwickeln können. Hierzu werden Module verbunden, ohne dass Programmierung oder Löten nötig sind. Da nicht alle Anforderungen und Anwendungsfälle durch vorgefertigte Module abgedeckt werden können, können erfahrenere Benutzer:innen diese Module nach Bedarf ändern, erweitern und ersetzen, indem sie den Programmiercode und die Hardware anpassen.

Um dies zu realisieren wurden zwei bestehende Toolkits, IVES und SPINE, genutzt und ein Schnittstellenmodul entwickelt, um sie zu verbinden.

Screenshots aus der Anwendung

IVES und SPINE eignen sich hier ideal, da es sich um modulare Open-Source-Systeme handelt, die bereits den definierten Anforderungen entsprechen und die Entwicklung von visuellen 3D-Inhalten und räumlichem Audio (IVES) sowie physischen, sensorbasierten Schnittstellen (SPINE) ermöglichen – und das ohne Programmierung oder Löten. Erfahrene Anwender können die Toolkits an ihre speziellen Bedürfnisse anpassen.

Mit dem SPINE-Toolkit können Benutzer:innen eine Vielzahl von haptischen und nichttaktilen physischen Schnittstellen unter Verwendung mehrerer Sensoren konstruieren. Die IVES-Engine macht es möglich, visuelle Darstellungen von virtuellen Instrumenten und virtuellen Umgebungen schnell zu gestalten und Klang räumlich zu verorten. Durch die Integration in der Programmiersoftware MAX eröffnen sich viele Möglichkeiten für die Klangsynthese und algorithmische Komposition in einer domänenspezifischen Sprache, die in der Computermusic Community weit verbreitet und vielen Benutzern bereits vertraut ist.

Die Entwicklung dieses Schnittstellenmodul eröffnet damit viele Möglichkeiten für virtuelle Arbeiten, und die Umsetzung künstlerischer Ideen und Konzepte, die in der physischen Realität schwierig oder unmöglich wären.

Publikation

Das Forschungsprojekt wurde mit einer Paper-Publikation auf der renommierten NIME (New Interfaces for Musical Expression) Konferenz in 2024 in Utrecht (Niederlanden) vorgestellt: https://doi.org/10.5281/zenodo.13904903