Immersive Audio Guiding System – IAGS

Pissarro Sounds – das Anwendungsprojekt

Ein immersives Klangerlebnis im Rahmen der Ausstellung zu Camille Pissarro

in Zusammenarbeit zwischen iart, der Hochschule für Musik FHNW und dem Kunstmuseum Basel

Die Ausstellung Camille Pissarro. Das Atelier der Moderne im Kunstmuseum Basel bietet mit den Pissarro Soundsdie Möglichkeit zu einem neuartigen, erweiterten Besuchserlebnis. Der Künstler Moritz Fehr (*1981, Berlin) hat für vier Ausstellungsräume ein Soundkunstwerk aus dynamischen Klangräumen geschaffen, das die Besucher:innen mittels sogenannter Binauralsynthese und einem präzisen Location Tracking in die Kunst- und Lebenswelt des französischen Neoimpressionisten eintauchen lässt. 

Pissarro Sounds ist die erste öffentliche Anwendung des Innosuisse Forschungs-projektes Immersive Audio Guiding System (IAGS) der Hochschule für Musik FHNW, iart  Studio für mediale Architekturen und idee & Klang Audio Design.

Über Kopfhörer können die Besucher:innen an diesem immersiven Hörerlebnis teilnehmen. Diese ermitteln ihren Standort im Ausstellungsraum, um die Besucher:innen in die verschiedenen Klangräume zu versetzen. Das Gehörte nimmt Bezug auf reale Schauplätze und tritt in Dialog mit den Werken Pissarros. Zahlreiche Aufnahmen entstanden auf einer Reise an die Orte, an denen der Maler lebte und die er in seinen Gemälden verewigt hat, darunter sein Atelier und die Kirche in Éragny-sur-Epte, der Boulevard Montmartre in Paris und der Hafen von Le Havre. Moritz Fehr hat daraus akustische Klangräume komponiert, die den visuellen Eindruck der Besucher:innen um eine hörbare Ebene erweitern. Je nachdem, in welchem Raum man sich befindet, bietet sich ein anderer inhaltlicher Schwerpunkt, der die sichtbaren Werke abwechslungsreich kontextualisiert. Zitate aus Briefen des Künstlers und seiner Zeitgenoss:innen ergänzen das Hörerlebnis. Sie werden gelesen vom Schauspieler Hanns Zischler und der Schauspielerin Marie Grützke.

Die Grundlage für Pissarro Sounds bildet ein interaktives 3D-Modell, in dem eine exakte Kopie der Ausstellungsräume hinterlegt ist. Vergleichbar mit einem Computergame, das aus virtuellen Räumen und Objekten besteht, sind auch in diesem digitalen Zwilling der Ausstellung Camille Pissarro verschiedene Objekte, Sounds, Interaktionen und Triggerzonen verortet. Das ist der Kern der von iart speziell für Anwendungen im Museum entwickelten Mixed Reality Plattform (MxRP).

Ein hochpräzises Location Tracking erfasst die Bewegung der Besucher:innen in Echtzeit und überträgt ihre Position ins 3D-Modell. Das Tracking baut auf Ultra-Breitband-Technologie (UWB) auf. Es erfolgt über spezielle Kopfhörer, die sich von der Optik und Handhabung her kaum von herkömmlichen Kopfhörern unterscheiden. Jeder Kopfhörer empfängt die Signale von im Ausstellungsraum verteilten UWB-Sendern und kann basierend darauf seine eigene Position bestimmen. Ein IMU-Sensor (Inertial Measurement Unit) ermittelt zudem die Kopforientierung der Besucher:innen. So weiss das System nicht nur, wo sich die Nutzer:innen befinden, sondern auch, in welche Richtung sie schauen.

All diese Informationen werden in Echtzeit verarbeitet. In der sogenannten Binaural-Synthese werden sowohl die Eigenschaften des menschlichen Ohres als auch akustische Raumeigenschaften miteinbezogen. So entstehen die Klangräume im Moment, in dem die Besucher:innen sich durch die Ausstellung bewegen.

Die Ausstellung läuft vom 04.09.2021 – 23.01.2022
Verfügbar in den Sprachen Deutsch, Englisch und Französisch.
Mehr Informationen unter: www.kunstmuseumbasel.ch

Zum Forschungsprojekt

Das Ziel des Projekts «Immersive Audio Guiding System» ist die Entwicklung eines skalierbaren und einfach zu konfigurierenden Augmented-Reality Guiding-Systems für Innenräume.

Ursprünglich dienten Audio-Guides einem Zweck: der Vermittlung von Informationen. Eine Stimme führt durch eine Ausstellung, eine Stadt oder eine Messe und vermittelt Informationen über die Exponate oder Gebäude, die den Besucher interessieren. Nur in Ausnahmefällen werden Guides thematisch oder künstlerisch in irgendeiner Form angepasst. Der Aufwand und die Kosten sind in der Regel zu hoch. Das immersive Audio Guiding System soll diese Lücke füllen: Mit Hilfe eines Indoor-Tracking-Systems kann die exakte Position von Museums-, Ausstellungs- oder Messebesuchern in Innenräumen bestimmt werden.

Abhängig von der individuellen Position eines Besuchers werden Text, Musik und/oder Sounddesign für das entsprechende Objekt/Exponat wiedergegeben. Die virtuellen Audioquellen werden an der realen Position der Objekte platziert, der Besucher hört sie tatsächlich von dort. Dies wird mit einer speziellen, dynamischen Binaural-Synthese realisiert, die sowohl die Eigenschaften des menschlichen Ohres als auch akustische Raumeigenschaften mit einbezieht. Das Hörerlebnis dieser Audio-Synthese auf der Grundlage geometrischer Akustik und binauraler Raumimpulsantworten (BRIRs) wird für mobile Endgeräte einzigartig sein.

Die Lokalisation der Besucher wird mit Hilfe eines Ultra-Wideband-Systems (UWB) realisiert. Zusätzlich wird mit einem Head-Tracker, der auf einem Kopfhörer montiert ist, kontinuierlich die Kopforientierung des Besuchers gemessen.

Der ursprünglich für den H.E.I. Guide entwickelte Head-Tracker dient als Basis für das IAGS.

Standort und Kopforientierung werden an den IAGS Mobile Client gesendet, eine Smartphone-App, die für die ortsabhängige Audiowiedergabe und das 3D-Audio-Rendering zuständig ist. Je nach Standort und Kopforientierung des Besuchers stellt der IAGS Mobile Client Sprache, Musik und/oder Sounddesign entsprechend zur Verfügung.

Kommunikations-Schema zwischen UWB, Head Tracker und Besucher/Smartphone App.

Die Audioinhalte werden mit Hilfe des IAGS Content-Creators, einem Autorentool, das ein 3D-Modell des Zielgebäudes importieren kann, platziert und arrangiert. Der fertige Guide kann dann auf die mobilen Endgeräte übertragen werden. Im Rahmen des Projekts wird ein Use-Case mit einem noch zu bestimmenden Museumspartner realisiert werden.