Die zentrale Idee hinter „ASCIImage Rhapsody“ ist die Verbindung von Live-Coding-Performances mit Echtzeit-Publikumsinteraktion. Da die meisten Zuschauer weder mit Programmierung noch mit Live-Coding in einer bestimmten Sprache vertraut sind, ist eine Brücke erforderlich, um Interaktion und Code zu verbinden. Um dieses neuartige Format für Installations-Performances zu entwickeln, wurde erforscht, wie Benutzerinteraktionen und die Umgebung effektiv in die Codegenerierung einbezogen werden können.
Ein vielversprechender Ansatz war die Verwendung von zweidimensionalen Bildern aus einem Webcam-Stream zur Codegenerierung.
Das Live-Bild einer Webcam wird in Graustufen umgewandelt und auf eine Auflösung von 60 x 40 Pixeln heruntergerechnet. Anschließend wird jeder Pixel in ein ASCII-Character umgewandelt, der den Programmierinstruktionen von ORCA entspricht. Zu diesem Zweck wird eine Konvertierungstabelle verwendet, anhand derer die Instruktionszeichen nach ihrer Helligkeit ausgewählt werden.
Als Resultat entsteht ein ORCA-Code, welcher dem mit der Kamera eingefangenen Bild entspricht, und MIDI-Daten erzeugt die Informationen über gespielte Töne enthalten. Mit diesen Daten werden anschließend in Echtzeit Klangsynthesizer bespielt, die in der Live-Coding-Programmiersprache SuperCollider entwickelt wurden.
Für die Performance in der Kunsthalle Düsseldorf, wurde in einem der Ausstellungsräume ein Tisch mit 3 kleinen Monitoren aufgestellt. Jeder der Monitore zeigt dabei verschiedene Teile des Prozesses – von der ASCII-fizierung der zum Publikum gerichteten Kamera, bis hin zum ORCA-Code oder dem Klangsynthese-Code von SuperCollider.
Über die zum Publikum gerichtete Kamera, können Besucher:innen mit der Performance interagieren, und den Live-Coding-Code beeinflussen der schlussendlich das musikalische Ergebnis steuert.
