Hackathon Sensors & Storytelling - SCREEN

SCREEN

We are Blender

Screen

  • Stacks Image 1461
    Foto: Veronika Maslíková
  • Stacks Image 1464
    Foto: Veronika Maslíková
  • Stacks Image 1467
    Foto: Veronika Maslíková
  • Stacks Image 1473
    Foto: Veronika Maslíková
  • Stacks Image 1470
    Foto: Veronika Maslíková
  • Stacks Image 1476
    Foto: Veronika Maslíková
  • Stacks Image 1479
    Foto: Veronika Maslíková
  • Stacks Image 1485
    Foto: Veronika Maslíková
  • Stacks Image 1488
    Foto: Veronika Maslíková
  • Stacks Image 1491
    Foto: Veronika Maslíková
  • Stacks Image 1551
    Screenshot: Wolfram Lakaszus
  • Stacks Image 1494
    Foto: Veronika Maslíková
  • Stacks Image 1503
    Foto: Veronika Maslíková
  • Stacks Image 1544
    Foto: Veronika Maslíková
  • Stacks Image 1547
    Foto: Veronika Maslíková
  • Stacks Image 1550
    Foto: Veronika Maslíková
  • Stacks Image 1506
    Foto: Veronika Maslíková
  • Stacks Image 1509
    Foto: Veronika Maslíková
  • Stacks Image 1518
    Foto: Veronika Maslíková
  • Stacks Image 1527
    Foto: Veronika Maslíková
  • Stacks Image 1524
    Foto: Veronika Maslíková
  • Stacks Image 1530
    Foto: Veronika Maslíková
  • Stacks Image 1521
    Foto: Veronika Maslíková

Ein Blender-Tutorial wurde auf der Bühne zum Leben erweckt.

Sechs Darsteller:innen in einer Büroumgebung modellierten gemeinsam einen neuen 3D-Charakter – aber anstatt Computer zu verwenden, werden sie selbst zur Software.

Jede Person verkörperte ein einzelnes Werkzeug:
Eine kontrollierte die Objektrotation, eine andere die Kameraposition, jemand klickte mit der Maus, eine weitere wechselte zwischen Bearbeitungs- und Modellierungsmodus.
Einfache Handlungen wurden zu Ganzkörperbewegungen – ein Mausklick verwandelte sich in das Ziehen an einer Steckdosenleiste, Gesten wirkten übertrieben, Alltagsgegenstände wurden zu Schnittstellen umfunktioniert.

Die versteckte Komplexität unserer alltäglichen Interaktionen mit Technologie wurde durch die Performance offenbart.
Sie spiegelte auf humorvolle Weise die menschliche Wahrnehmung und das Verhalten gegenüber Computerschnittstellen wider und machte die Anstrengungen sichtbar, die hinter scheinbar einfachen digitalen Aufgaben stehen.

Das Team erstellte gemeinsam digitale Charaktere und nahm dabei Bezug auf die Traditionen des Puppentheaters, in dem mehrere Schauspielende eine einzige Figur zum Leben erwecken.
Der reale Theaterraum existierte als 3D-Scan innerhalb von Blender und verwischte so die Grenzen zwischen physischer und virtueller Welt.

Werkzeugkiste

Eine Reihe von ESP32-Mikrocontrollern, die mit IMU-Sensoren ausgestattet waren, wurden verwendet, um Bewegungs- und Rotationsdaten von verschiedenen realen Objekten auf der Bühne zu erfassen.

Die Daten wurden über das OSC-Protokoll mit dem AddRoutes-Plugin an eine zentrale Blender-Instanz übertragen, die auf unserem Server lief.

Mit Polycam wurde ein 3D-Scan des Bühnenraums erstellt und anschließend auf die realen Abmessungen skaliert.
In einer separaten Unity-Anwendung wurden beide virtuellen Umgebungen (Blender und Unity) mithilfe von Ankern räumlich ausgerichtet, sodass ein Head-Mounted-Display als virtuelle Kamera innerhalb der Blender-Szene verwendet werden konnte.
Zusätzlich wurden mehrere benutzerdefinierte Skripte entwickelt, um virtuelle Klicks und Mausbewegungen zu verarbeiten, was große Klicks, schöne Bildschirminteraktionen und reibungslose Modellierungsvorgänge ermöglichte.

Credits

Edda Rabold
Helene Kummer
Ronja Lindemann
Ruxin Liu
Julian Jungel
Fabian Töpfer