Ich mag das Klaviergeklimper des Nachbarn nicht mehr hören! Sagt man so leicht dahin. Doch wer tatsächlich schlecht oder kaum noch etwas hört, ist darüber nicht glücklich. Florian Gnadlinger und Josef Heitzler haben zusammen mit Partnern im Verbundprojekt „ProWear:Cochlea" ein neuartiges Trainingssystem für Menschen entwickelt, die ihr Gehör beispielsweise nach einem Burnout verloren haben und das Hören mit einem Implantat wieder lernen müssen. Wichtigster Kooperationspartner war das Hörzentrum des Universitätsklinikums Düsseldorf. Die Projektleitung lag bei Prof. Dr. Carsten Busch. Für die finanzielle Förderung sorgte das Bundesministerium für Wirtschaft und Energie aus Mitteln des Zentralen Innovationsprogramm Mittelstand.

Warum muss man das Hören mit einem oder gar zwei Implantaten wieder neu lernen? Und was können Medieninformatiker zu diesem Lernprozess beitragen? Zwei Fragen, auf die Florian Gnadlinger und Josef Heitzler am Ende ihres knapp dreijährigen Forschungsprojekts konkrete Antworten haben. Um diese Antworten geben zu können, mussten sich die beiden wissenschaftlichen Mitarbeiter der Forschungsgruppe „Creative Media – Forschung und Entwicklung“ zu Beginn allerdings erst einmal gründlich medizinisch instruieren lassen. Denn bei der Beschäftigung mit Implantaten für das Ohr, den sogenannten Cochlea-Implantaten, betraten die beiden völliges Neuland. Den Namen „Cochlea“ tragen die Implantate übrigens in Anlehnung an die gleichnamige Gehörschnecke im Innenohr, wo die menschliche Schallempfindung sitzt.

Während Hörgeräte Schwerhörigkeit dadurch kompensieren, dass sie den Schall verstärken, funktionieren die aus zwei Komponenten bestehenden Cochlea-Implantate (CI) anders. Hier zeichnet ein kleines, auf dem Ohr sitzendes Mikrofon die Schallwellen auf, ein ebenfalls außen auf dem Kopf sitzender Soundprozessor wandelt sie in digital kodierte Signale um, überträgt diese an das unter der Haut liegende Implantat, das sie wiederum in Form von elektrischen Impulsen an den Hörnerv weiterleitet. Im Gehirn entsteht auf diesem Weg ein Höreindruck.

Viel mehr als ein „Höreindruck“ ist es tatsächlich nicht. Die wahrgenommenen Geräusche zu identifizieren, zu differenzieren, also Worte und Sätze wirklich zu verstehen sowie im Raum zu lokalisieren, müssen Patient_innen nach einer Implantation mit Hilfe von Therapeut_innen Schritt für Schritt wieder lernen und anschließend fortwährend üben. Bei diesen Übungen kamen Florian Gnadlinger und Josef Heitzler ins Spiel. Sie entwickelten in Zusammenarbeit mit dem Hörzentrum der Universitätsklinik Düsseldorf sowie dem Softwareunternehmen Serrala Group GmbH und dem Spielentwickler Experimental Game AG den Prototypen einer mobilen Anwendung für den Therapiealltag.

Wird derzeit meist im Beisein von Therapeut_innen und Audiolog_innen geübt, könnten Patient_innen dies mit einer App sowohl selbstständig als auch an einem Ort ihrer Wahl tun. Also jederzeit und überall zum eigenen Smartphone greifen oder sich an den Rechner setzen und die täglichen Hörübungen absolvieren, quasi Gymnastik für die Ohren machen. Dafür keinen Termin in einer Klinik wahrnehmen zu müssen, kann von großem Vorteil sein, wie sich in Zeiten der Pandemie gezeigt hat.

Ein weiterer Pluspunkt der vom HTW-Team interaktiv konzipierten Übungen: Sie vermögen sich nicht nur dem Leistungsstand, sondern sogar der tatsächlich schwankenden Tagesform des Hörens anzupassen. Also werden die Übungen schwerer, wenn die Antworten der Patientin/des Patienten erkennen lassen, dass das Hörvermögen weit gediehen ist; und sie werden leichter, wenn sie/er an einem Tag nicht so gut drauf ist. Auf diese Anpassungsfähigkeit ist Florian Gnadlinger besonders stolz, musste er dafür doch ein auf Künstlicher Intelligenz basierendes, technisch ziemlich anspruchsvolles „Kompetenzmodell des Hörens“ entwickeln.

Josef Heitzler wiederum steuerte die nicht minder anspruchsvolle Technologie bei, die das Hören mit beiden Ohren trainiert; man spricht in diesem Fall vom binauralen Hören. Wer nicht binaural hört, lebt vor allem im Straßenverkehr gefährlicher, gerät aber auch sozial ins Abseits, wenn beispielsweise in geselliger Runde munter quer über den Tisch und den ganzen Saal gequatscht und gerufen wird. Bei der Konzeption der entsprechenden Trainingseinheiten musste Josef Heitzler sogar die Geometrie des Kopfes und die Form der Ohrmuschel berücksichtigen.

Ohne die im Internationalen Masterstudiengang Medieninformatik erworbene Expertise wäre die Entwicklung des App-Prototypen nicht gelungen, sind beide überzeugt. Denn es galt, kleinere und größere Programme selbst zu schreiben, komplexe Audio- und Bildsignale zu verarbeiten sowie Zusammenhänge und Strukturen durch Visualisierung erkennbar zu machen. Florian Gnadlinger absolvierte den HTW-Master im Anschluss an ein Informatikstudium an der Fachhochschule Technikum Wien und eine mehrjährige Tätigkeit als Spielentwickler, Josef Heitzler gleich nach dem Bachelorabschluss.

Die in eine interaktive Story eingebetteten und einem Quiz ähnelnden Hörbungen machten den Patient_innen im Düsseldorfer Hörzentrum erkennbar Spaß. Und sie funktionierten, wie die gemeinsamen Auswertungen mit den medizinischen Expert_innen zeigten. Um aus dem rundum positiv bewerteten Prototypen ein wirkliches Produkt zu machen, bräuchte man noch ein wenig Zeit und man müsste auch Geld in die Hand nehmen, sagt Florian Gnadlinger. Er will die Ergebnisse Gemeinsam mit Josef Heitzler erst einmal in einer Publikation öffentlich zugänglich machen und außerdem für die nächsten Projektanträge nutzen. Denn die Digitalisierung der Medizin schreitet zügig voran und die beiden Nachwuchswissenschaftler wollen ihren Teil dazu beitragen.