Innovative Technologie der Hochschule für Musik FHNW bringt Bilder zum Klingen

Im Rahmen des Innosuisse Forschungsprojektes Immersive Audio Guiding System (IAGS) der Hochschule für Musik FHNW, iart und Idee & Klang Audio Design hat der Künstler Moritz Fehr (*1981, Berlin) ein Soundkunstwerk für das Kunstmuseum Basel erschaffen.

Die Ausstellung Camille Pissarro. Das Atelier der Moderne bietet mit den Pissarro Sounds die Möglichkeit zu einem neuartigen, erweiterten Besuchserlebnis. Der Künstler Moritz Fehr (*1981, Berlin) hat für vier Ausstellungsräume ein Soundkunstwerk aus dynamischen Klangräumen geschaffen, das die Besucher:innen mittels sogenannter Binauralsynthese und einem präzisen Location Tracking in die Kunst- und Lebenswelt des französischen Neoimpressionisten eintauchen lässt. Pissarro Sounds ist die erste öffentliche Anwendung des Innosuisse Forschungsprojektes Immersive Audio Guiding System (IAGS) der Hochschule für Musik FHNW, iart Studio für mediale Architekturen und Idee & Klang Audio Design.

Über Kopfhörer können die Besucher:innen an diesem immersiven Hörerlebnis teilnehmen. Diese ermitteln ihren Standort im Ausstellungsraum, um die Besucher:innen in die verschiedenen Klangräume zu versetzen. Das Gehörte nimmt Bezug auf reale Schauplätze und tritt in Dialog mit den Werken Pissarros. Zahlreiche Aufnahmen entstanden auf einer Reise an die Orte, an denen der Maler lebte und die er in seinen Gemälden verewigt hat, darunter sein Atelier und die Kirche in Éragny-sur-Epte, der Boulevard Montmartre in Paris und der Hafen von Le Havre. Moritz Fehr hat daraus akustische Klangräume komponiert, die den visuellen Eindruck der Besucher:innen um eine hörbare Ebene erweitern. Je nachdem, in welchem Raum man sich befindet, bietet sich ein anderer inhaltlicher Schwerpunkt, der die sichtbaren Werke abwechslungsreich kontextualisiert. Zitate aus Briefen des Künstlers und seiner Zeitgenoss:innen ergänzen das Hörerlebnis. Sie werden gelesen vom Schauspieler Hanns Zischler und der Schauspielerin Marie Grützke.

Die Grundlage für Pissarro Sounds bildet ein interaktives 3D-Modell, in dem eine exakte Kopie der Ausstellungsräume hinterlegt ist. Vergleichbar mit einem Computergame, das aus virtuellen Räumen und Objekten besteht, sind auch in diesem digitalen Zwilling der Ausstellung Camille Pissarro verschiedene Objekte, Sounds, Interaktionen und Triggerzonen verortet. Das ist der Kern der von iart speziell für Anwendungen im Museum entwickelten Mixed Reality Plattform (MxRP). Ein hochpräzises Location Tracking erfasst die Bewegung der Besucher:innen in Echtzeit und überträgt ihre Position ins 3D-Modell. Das Tracking baut auf Ultra-Breitband-Technologie (UWB) auf. Es erfolgt über spezielle Kopfhörer, die sich von der Optik und Handhabung her kaum von herkömmlichen Kopfhörern unterscheiden. Jeder Kopfhörer empfängt die Signale von im Ausstellungsraum verteilten UWB-Sendern und kann basierend darauf seine eigene Position bestimmen. Ein IMU-Sensor (Inertial Measurement Unit) ermittelt zudem die Kopforientierung der Besucher:innen. So weiss das System nicht nur, wo sich die Nutzer:innen befinden, sondern auch, in welche Richtung sie schauen. All diese Informationen werden in Echtzeit verarbeitet. In der sogenannten Binaural- Synthese werden sowohl die Eigenschaften des menschlichen Ohres als auch akustische Raumeigenschaften miteinbezogen. So entstehen die Klangräume im Moment, in dem die Besucher:innen sich durch die Ausstellung bewegen.

Die Ausstellung im Neubau des Kunstmuseum Basel läuft noch bis zum 23. Januar 2022.

Die Pissaro Sounds Kopfhörer sind erhältlich in den Sprachen Deutsch, Englisch und Französisch.
Link zum Forschungsprojekt

Fachhochschule Nordwestschweiz FHNW/Musik-Akademie Basel
Hochschule für Musik FHNW
Dr. Christoph Moor
Stv. Leiter Forschung
Leonhardsstrasse 6
4009 Basel
T+41 61 264 57 35
christoph.moor@fhnw.ch