Hackathon Sensors & Storytelling - SOUND

SOUND

The Word for World is Forrest

Sound

  • Stacks Image 1453
    Foto: Veronika Maslíková
  • Stacks Image 1459
    Foto: Veronika Maslíková
  • Stacks Image 1525
    Screenshot: Wolfram Lakaszus
  • Stacks Image 1533
    Foto: Veronika Maslíková
  • Stacks Image 1537
    Foto: Veronika Maslíková
  • Stacks Image 1465
    Foto: Veronika Maslíková
  • Stacks Image 1470
    Foto: Veronika Maslíková
  • Stacks Image 1475
    Foto: Veronika Maslíková
  • Stacks Image 1480
    Foto: Veronika Maslíková
  • Stacks Image 1485
    Foto: Veronika Maslíková
  • Stacks Image 1541
    Foto: Veronika Maslíková
  • Stacks Image 1490
    Foto: Veronika Maslíková
  • Stacks Image 1495
    Foto: Veronika Maslíková
  • Stacks Image 1505
    Foto: Veronika Maslíková
  • Stacks Image 1500
    Foto: Veronika Maslíková
  • Stacks Image 1519
    Foto: Veronika Maslíková
  • Stacks Image 1524
    Foto: Veronika Maslíková
  • Stacks Image 1529
    Foto: Veronika Maslíková
  • Stacks Image 1514
    Foto: Veronika Maslíková
  • Stacks Image 1506
    Foto: Veronika Maslíková

Hat hier jemand Bedarf zu flanieren?

Im Raum befindet sich ein Flanierkreis. Mehrere Menschen können darauf gleichzeitig flanieren. Und es müssen nicht immer die gleichen Menschen sein.

Das Audio-Ambiente erinnert an Waldstimmung, die Schritte der Menschen werden von Soundeffekten wie Treten in Match oder Laub untermalt und folgen ihnen im Raum.

Hören die Menschen auf zu laufen, stoppen nicht nur die direkten Soundeffekte, sondern auch das Ambiente. Wir sind dazu angehalten weiterzulaufen.

Nach einiger Zeit werden die Soundeffekte von Textschnipseln abgelöst, die Bewegung durch eine eher städtische Umgebung beschreiben. Die Textschnipsel werden abgelöst von einem Countdown, der von 50 heruntergezählt wird, pro Schritt.

Bei null angekommen verändert sich die (Licht-) Stimmung, “Big Yellow Taxi” beginnt zu spielen und verfremdet sich mit Hall und Verzerrung zu einer Raumschiff-artigen Atmosphäre.

Am Ende des Songs finden wir uns zurück im Wald.

Der Text, den das Publikum beim Spazierengehen hören kann, stammt aus FLEXEN. Flâneusen* schreiben Städte von Lea Sauer, Mia Göhring, Özlem Özgül Dündar, Ronya Othmann (Hg.)
Der Song stammt nicht von Taylor Swift, sondern von Joni Mitchell, „Big Yellow Taxi”: Einer der ersten Songs, der sich mit Umweltproblemen befasst (1970)!

Der Titel unseres Projekts, auf den wir uns 10 Minuten vor der Präsentation geeinigt haben, ist inspiriert vom Titel des Romans von Ursula K. Le Guin, der sich mit den Ideen der Erhaltung vs. der Eroberung neuer Kulturen und Ökosysteme befasst.

Konzept

Die ursprüngliche Idee entstand beim Spazierengehen oder Wandern. Irgendwo zwischen einem Waldspaziergang und einem Weltraumspaziergang diskutierten wir darüber, einen Hügel zu besteigen und die verschiedenen Höhen zu vertonen, während die Gruppe im Kreis weiterging.

Letztendlich landeten wir in einem eher spekulativen Klimakatastrophenszenario, in dem das Wandern in einem „echten” Wald nicht mehr möglich ist, das Wandern im Weltraum aber noch nicht möglich ist. Wir sind gezwungen, im Kreis zu laufen, was uns die Illusion vermittelt, in der Natur zu sein, und uns traumhafte Einblicke in den Start ins All gewährt.

Werkzeugkiste

Hardware

Der Flanierkreis besteht aus 24 handgefertigten Drucksensoren, die diesen ähneln: Stickytape Bend Sensors.
Die Sensoren bestehen aus Kupfer, Aluminium und versilberten Nylonbändern, die auf Kunststoffplatten geklebt sind, auf denen sich eine Schicht aus piezoresistivem Velostat-Kunststoff befindet.
Eine Seite jedes Sensors ist mit einem digitalen Pin eines Arduino Mega verbunden, die andere Seite aller Sensoren ist mit dem analogen Pin A0 verbunden.
Der Druckbereich der Sensoren liegt zwischen 10.000 und 200 Ohm. Wir haben einen Spannungsteilungswiderstand von 1K zwischen A0 und +5V verwendet, um zu erkennen, wenn eine Person auf einen Sensor tritt.

Sensor-Software

Der Code auf dem Arduino analysiert die 24 Drucksensoren, ähnlich wie der Code zum Auslesen dieser Drucksensormatrix: Pressure matrix Code.

Der Arduino sendet 24 durch Kommas getrennte Werte, die jeweils den 10-Bit-Druckwert für jeden Sensor darstellen, und als letzten 25. Wert sendet der Arduino eine Zahl, die wie folgt interpretiert werden sollte: 100 – niemand auf dem Kreis 0 – Personen, die auf dem Kreis gehen 1–99 – Anzahl der Personen, die still auf dem Kreis stehen

Sound

Ein großer Wunsch war eine Mehrkanal-Audioanlage im Raum, um mit der Räumlichkeit zu spielen. Dazu wurden vier Lautsprecher in den Ecken des Raums platziert, wobei die Soundeffekte dort zu hören waren, wo die Leute auf die Paneele traten.

Die erste Konfiguration umfasste die Verarbeitung der Arduino-Daten in einem PureData-Patch und die Verwendung dieses Patches als VST-Plugin in der DAW Reaper. Reaper verfügt über weitere Plugins für die Verwendung von Ambisonics, was die Handhabung der Mehrkanalausgabe vereinfacht.

Im weiteren Verlauf verschoben sich die Kapazitäten in der Gruppe und das Wissen stieß an seine Grenzen. Aus diesem Grund wurde die PureData+Reaper-Konfiguration zugunsten eines einzigen Max/MSP-Patches aufgegeben, der die Datenverarbeitung und die Soundanordnung kombinierte.

Licht

Um die beiden Settings „Wald“ und „Raum“ zu unterstützen, haben wir zwei Flutlichter und zwei 3 m lange Neopixel-Streifen installiert, die von einem ESP32 mit WLED gesteuert wurden.
Die Lichter waren nicht mit den Sensor-Daten verbunden und wurden während der Vorführung manuell gesteuert.

Credits

Jonas Olbrich
Lisa Passing
Hannah Perner-Wilson
Laura Pföhler
Jan Schulten