Die Zwitschermaschine, Paul Klee, 1922

 

 

 

 

 

 

 

 

 

Das Projekt "Natural Media & Engineering: Emotion-Cognition Interactions and their Modification" untersucht auf innovative Weise multimodale Formen der face-to-face und Mensch-Maschine Kommunikation. Von zentralem Interesse ist das Zusammenspiel von Sprache, Gestik und Mimik. Semiotiker, Linguisten, kognitive Psychologen, Informatiker und klinische Neurowissenschaftler gehen gemeinsam der Frage nach, inwiefern kognitiv-emotionale Prozesse multimodal ausgedrückt und interpretiert werden.

Ziel ist es, durch einen Vergleich normaler, klinisch beeinträchtigter und technologisch modifizierter Bedingungen sowohl zeichentheoretische Grundlagen als auch kognitive Prozesse und neuronale Substrate gesunder und dysfunktionaler Kommunikationsmuster zu etablieren. Auf diese Weise soll ein integrativer Beitrag zur Gestenforschung und zu den Bereichen Kommunikation, Gesundheit und Technologie im Rahmen des RWTH Zukunftkonzepts geleistet werden.

Im Dialog von Theorie und Empirie werden verschiedene Methoden und Technologien nutzbar gemacht: die Analyse von multimodalen Diskursdaten, experimentelles Design, klinische Tests und moderne Bildgebungsverfahren. Mithilfe dieser multidisziplinären Herangehensweise erarbeitet das Team ein fundiertes Verständnis von der Integration sprachlich, gestisch, und mimisch vermittelter Informationen. Dabei nehmen komparative Studien bezüglich des Kommunikationsverhaltens von gesunden Sprechern und Patienten mit neurologischen und psychiatrischen Störungen wie Autismus, Aphasie, und Schizophrenie eine Schlüsselstellung ein. Gleichzeitig wird die Rolle von natürlichen Medien für Design und Gebrauch von kooperativen Computerspielen in serious gaming Kontexten untersucht. Die so gewonnenen Erkenntnisse sollen in die Entwicklung therapeutischer Ansätze und zukünftiger interaktiver Technologien einfließen.


Natural Media Lab

 

 

 


 

Architektur des Projekts