Projektbericht
ASCIImage Rhapsody – eine Live Coding Installations-Performance
Im Rahmen dieses Kooperationsprojekts mit dem Center for Music and Film Informatics (CEMFI) der Hochschule für Musik Detmold wurde ein neuartiges Verfahren für Installations-Performances mittels Live Coding entwickelt, welches an einem Konzert-Abend des TOPLAP Düsseldorf in der Kunsthalle Düsseldorf aufgeführt wurde.
Bei ASCIImage Rhapsody wird eine Kamera zur Einbindung des Publikums verwendet. Die Kamerabilder werden in ein ASCII-Format umgewandelt, um als ORCA-Code genutzt zu werden. ORCA ist eine Live-Coding-Programmiersprache, die MIDI-Ereignisse erzeugt, welche anschließend zur Steuerung eines in SuperCollider programmierten Klangsynthesesystems verwendet werden.
Projektbeteiligte
Damian Dziwis
Aristotelis Hadjakos (CEMFI - Center of Music and Film Informatics)
Projektstatus
Weiterentwicklung
ÜBERSICHT
Um das Potenzial von Publikumsinteraktion und Live Coding zu erforschen, haben wir „ASCIImage Rhapsody” geschaffen, eine musikalische Inszenierung zwischen Installation und Performance.
In diesem Stück wird das kompositorische Material durch die Interaktion mit dem Publikum erzeugt, indem ein technisches System entwickelt wurde, das einen ASCII-fizierungsalgorithmus verwendet, um aus Webcam-Fotos Programmcode für die esoterische Live-Coding-Programmiersprache ORCA zu generieren.
Dieser Code steuert anschließend den in SuperCollider entwickelten Klangsynthesizer, um die Musik zu erzeugen. „ASCIImage Rhapsody” wurde 2025 im Rahmen der Ausstellung „... und wir fangen gerade erst an” bei den „Coding Islands”-Konzerten des TOPLAP Düsseldorf in der Kunsthalle Düsseldorf aufgeführt.
Umsetzung
Die zentrale Idee hinter „ASCIImage Rhapsody“ ist die Verbindung von Live-Coding-Performances mit Echtzeit-Publikumsinteraktion. Da die meisten Zuschauer weder mit Programmierung noch mit Live-Coding in einer bestimmten Sprache vertraut sind, ist eine Brücke erforderlich, um Interaktion und Code zu verbinden. Um dieses neuartige Format für Installations-Performances zu entwickeln, wurde erforscht, wie Benutzerinteraktionen und die Umgebung effektiv in die Codegenerierung einbezogen werden können.
Ein vielversprechender Ansatz war die Verwendung von zweidimensionalen Bildern aus einem Webcam-Stream zur Codegenerierung.
Das Live-Bild einer Webcam wird in Graustufen umgewandelt und auf eine Auflösung von 60 x 40 Pixeln heruntergerechnet. Anschließend wird jeder Pixel in ein ASCII-Character umgewandelt, der den Programmierinstruktionen von ORCA entspricht. Zu diesem Zweck wird eine Konvertierungstabelle verwendet, anhand derer die Instruktionszeichen nach ihrer Helligkeit ausgewählt werden.
Als Resultat entsteht ein ORCA-Code, welcher dem mit der Kamera eingefangenen Bild entspricht, und MIDI-Daten erzeugt die Informationen über gespielte Töne enthalten. Mit diesen Daten werden anschließend in Echtzeit Klangsynthesizer bespielt, die in der Live-Coding-Programmiersprache SuperCollider entwickelt wurden.
Für die Performance in der Kunsthalle Düsseldorf, wurde in einem der Ausstellungsräume ein Tisch mit 3 kleinen Monitoren aufgestellt. Jeder der Monitore zeigt dabei verschiedene Teile des Prozesses – von der ASCII-fizierung der zum Publikum gerichteten Kamera, bis hin zum ORCA-Code oder dem Klangsynthese-Code von SuperCollider.
Über die zum Publikum gerichtete Kamera, können Besucher:innen mit der Performance interagieren, und den Live-Coding-Code beeinflussen der schlussendlich das musikalische Ergebnis steuert.
Publikation
Eine Publikation zu „ASCIImage Rhapsody“ wurde für den Workshop für Innovative Computerbasierte Musikinterfaces (ICMI) der Mensch und Computer Konferenz 2025 eingereicht.
