Projektbericht

Programmieren im Metaverse: StackBeat L.O.V.E.

StackBeat L.O.V.E. (Location Oriented Virtual Extension) ist eine Programmiersprache, die es ermöglichen soll, Musik als Code direkt im dreidimensionalen Raum zu erstellen. In einer virtuellen Umgebung haben die Coder die Möglichkeit Blöcke zu erstellen, die entsprechend ihrer Entfernung zueinander interpretiert werden. Das alles wirkt erstmal sehr fremd und die meiste Zeit ist es sehr noisy, aber Ziel ist es damit die musikalischen Aktions- und Interaktionsmöglichkeiten in VR zu erforschen.

Projektbeteiligte

Matthias NowakowskiDamian Dziwis

Projektstatus

­­­Entwicklung und Refinement

Programmieren im Metaverse: StackBeat L.O.V.E.

StackBeat L.O.V.E. basiert auf StackBeat, einer esoterischen Programmiersprache, die es den Nutzern ermöglicht durch ein begrenztes Set an Zeichen den Byte Code eines akustischen Signals zu manipulieren. Dieses lehnt sich ästhetisch an ByteBeat an, hat allerdings weniger Zeichen und baut syntaktisch auf der umgekehrt polnischen Notation auf.

Das besondere hierbei ist, dass sich aus den Zeichen und den Befehlen leider nicht direkt schließen lässt, was das akustische Resultat sein wird. Dieses nutzen wir als Grundlage dafür, um der (wahrscheinlich erstmaligen) Coder:in in eine Situation zu bringen, welche nicht der musikalischen Intuition entspricht, aber auch vom Klang her sehr herausfordernd sein kann.

Hierzu bewegt sich die Nutzer:in in einer virtuellen Umgebung, allgemein beschrieben als dem Metaverse: ein Ort an dem alle im digitalen Raum über Bewegungen und anderer körpernaher Aktionen miteinander interagieren können. Damit das Coden beginnen kann, wird zuerst ein Kontext erstellt, der in unserem Fall die Form einer roten Kugel hat. Der Grundklang ist ein Sägezahn. Hier können dann Codeblöcke platziert werden, welche sich je nach Entfernung aufeinander in Beziehung setzen lassen. Dabei ist es nicht einfach, die exakte Position und die Beziehung zu den anderen Objekten einzuschätzen. Es gibt auch Nummern als Codebestandteile, welche dann als Wert die Entfernung zur Mitte annehmen.

Die Herausforderung ist es, aus den gegebenen Einschränkungen trotzdem etwas zu kreieren, das man als musikalisch befriedigend empfindet. Spannend wird es jedoch, wenn mehr als eine Person sich im Metaverse befindet und das ist eine Frage, die wir gerne klären würden: Wie verhalten sich Menschen, wenn sie gemeinsam Musik machen sollen, aber keine Ahnung von der Ästhetik und dem Instrument haben? Gibt es irgendwelche Aushandlungsprozesse, die sich musikalisch abspielen? Bleiben die Rollen aller Handelnden gleich, oder wird sich schnell ein "Dirigent" zeigen? Denn jeder kann alles beeinflussen und Kontexte können sich überlappen und Code kann geteilt oder gestohlen werden.

Interface, um den Code für Stackbeat L.O.V.E zu erstellen.

Neben den sozialen Aspekten interessiert uns auch der interaktionstechnische Blickwinkel auf das System. Interfaces müssen verständlich sein, um mit den Blöcken und Kugeln umgehen zu können. Aber auf wieviel Informationen kann man verzichten? Wie lässt sich das Schreiben in VR am besten realisieren, während man sich in 3D bewegt?

Solche Herausforderungen nutzen wir, um eine medienspezifische Musik für das Metaverse zu erforschen, ohne bekannte musikalische Handlungsweisen und Instrumente hineinzuschmuggeln und dort zu verändern.

StackBeat L.O.V.E. ist daher ein Tool, das wir nutzen werden, um die vorherigen Fragen zu beantworten und auch hoffentlich viele Live Coding-Konzerte damit zu machen.

Die theoretische Grundlage wird auf der ISEA 2025 präsentiert und konnte auch schon in einem Konzert mit Studenten der New York University ausprobiert werden. Auf einem Vortragsabend der Internet of Sounds 2025 in L’Aquila (Italien), kam das System wieder zum Einsatz.

Lust es selbst mal auszuprobieren? https://stackblitz.com/edit/iseaspace