Projektbericht

It Takes Two – Shared and Collaborative Virtual Musical Instruments in the Musical Metaverse

Musik im Metaverse. Unsere Forschung bringt kollaborative virtuelle Musikinstrumente ins musikalische Metaverse! Drei innovative Prototypen fördern Kreativität, Interaktion und soziale Präsenz durch räumliches Audio, Daten-Sonifikation und Avatare.

Projektbeteiligte

Damian Dziwis Sascha Etezazi

University of Trento,
Department of Information Engineering:

· Alberto Boem
· Matteo Tomasetti
· Luca Turchet

Projektstatus

Forschung & Publikation

Unsere Untersuchung

Dieses Projekt untersucht geteilte und kollaborative Virtuelle Musikinstrumente/Virtual Musical Instruments (VMIs) für das musikalische Metaverse. Drei Prototypen solcher Instrumente die speziell für musikalische Zusammenarbeit und soziale Interaktionen konzipiert sind, wurden für geteilte virtuellen Umgebungen entwickelt. Diese beinhalten Eigenschaften wie räumliches Audio, Daten-Sonifikation und Avatar-basierte Interaktionen.

Eine Userstudie untersucht, wie diese Instrumente Kreativität und Userfreundlichkeit fördern und ein Gefühl sozialer Präsenz und gegenseitiger Verbundenheit vermitteln können. Die Ergebnisse zeigen, dass die unterschiedlichen Instrument-Designs verschiedene Grade an Kreativität und Nutzungsfreundlichkeit aufweisen, und Instrumente mit symmetrischen und verkörperten Interaktionen eine bessere soziale Präsenz und gegenseitige Verbundenheit bieten.

Gemeinsame und geteilte Musikinstrumente

Musikinstrumente für gemeinschaftliches Musizieren erfordern die Interaktion von mehreren Personen. Sie sind so konzipiert, dass sie von mehreren Spieler:innen gespielt werden können, um die Kommunikation und den Ausdruck zwischen den Spielenden zu fördern. Der Schlüssel zu einer zufriedenstellenden Erfahrung ist die soziale Interaktion.

In der kollaborativen Musikkomposition ist die Abstimmung mit anderen entscheidend. Solche Instrumente ähneln öffentlichen Installationen und weichen von der üblichen Vorstellung eines Instruments und eines musikalischen Interfaces ab. Eine besondere Art von Instrumenten sind solche, die das Internet nutzen, um die Zusammenarbeit zwischen geografisch verteilten Nutzer:innen zu ermöglichen.

Drei Prototypen für das Musical-Metaverse

Um die Möglichkeiten und Auswirkungen kollaborativer virtueller Instrumente in Metaverse-Umgebungen zu untersuchen, haben wir drei Prototypen entwickelt. Im Internet können sich beide Spieler:innen über einen Browser von verschiedenen Orten aus mit einer webbasierten Metaverse-Umgebung verbinden, um die Instrumente zu spielen.

Die drei Instrumente sind für die Verwendung mit Head-Mounted Displays (HMDs) und den dazugehörigen Controllern optimiert. Bei der Entwicklung der VMIs wurden drei verschiedene einzigartige Fähigkeiten von virtuellen Umgebungen berücksichtigt:

· Spatial Instrument

Dieses Instrument erforscht Klänge und virtuelle Räume: Die erste Person spielt die Klänge auf dem Interface, die zweite bewegt die Klangquelle im Raum. Die Position der Klangquelle ist an die Position der zweiten Person gekoppelt.

· Sonification Instrument

Hier wird ein Ansatz verwendet, der die Klangsynthese über die Parameter der Avatare der Spieler:innen steuert. Dies ermöglicht es den Spielenden, Musik zu erzeugen, ohne auf visuelle Schnittstellen angewiesen zu sein. Die Abstände der Spieler:innen zueinander und Referenzpunkte im Raum steuern Synthesizer-Parameter wie Wellenlänge, Tiefpassfilter-Cutoff-Frequenz, Frequenzmodulation, Modulationstiefe und Lautstärke.

· Body Instrument

Das Body Instrument hat eine intimere Form der Interaktion: Der virtuelle Avatar ist die primäre Schnittstelle. Änderungen der Eigenschaften des Avatars beeinflussen die Musikausgabe. Das ermöglicht eine intuitive Musikgestaltung durch Gesten und Bewegungen. Ansatz verbindet die Körperlichkeit der Bewegungen der Spielenden mit der digitalen Ausgabe.

Resultate der Userstudie

Unsere Studie hat gezeigt, dass die soziale Präsenz von der Rolle und dem Design der einzelnen Instrumente beeinflusst wird:

»Das Sonification Instrument fördert Kreativität, Userfreundlichkeit und soziale Präsenz, das Body Instrument fördert gegenseitige Verbundenheit.«

»Das Spatial Instrument beeinträchtigt die soziale Präsenz durch die Aufteilung der verschiedenen Nutzer:innenrollen, sodass es vermuten lässt, dass Instrument-Designs, die symmetrische Nutzer:innenrollen und verkörperte Interaktionen bieten, besser geeignet für kollaborative VMIs im musikalischen Metaverse sind.«

Ergebnisse des Forschungsprojektes

Das Projekt wurde beim IEEE 5th International Symposium on the Internet of Sounds (IS2) 2024, vorgestellt und in einem wissenschaftlichen Paper veröffentlicht: