3D Motion Capture mit Stickfigure und Overlay
© Natural Media Lab, RWTH Aachen

NeuroPeirce

Gestik als Testgebiet für die Validität der Peirceschen Universalkategorien in den sozialen Neurowissenschaften

Dieses NATURAL MEDIA Fortführungsprojekt spannt drei Fakultäten (die Philosophische, die Medizinische und die Fakultät für Naturwissenschaften, Mathematik und Informatik) und untersucht in der Wissenschaftsgeschichte fest etablierte Konzepte mit einer innovativen Kombination von Forschungsmethoden und Technologien. Wie Natural Media allgemein, verbindet NeuroPeirce die Linguistik, Semiotik, Psychologie, Informatik und Neurowissenschaften, um die dynamische Komplexität von embodied Kognition und multimodaler Kommunikation zu erforschen. Aufbauend auf technologischen Fortschritten und empirischen Ergebnissen aus der ersten Projektphase liegt der Fokus von NeuroPeirce auf der Entwicklung eines neuen Forschungsparadigmas für die kognitiven und sozialen Neurowissenschaften.

Unter Verwendung von Motion Capture Technologie und bildgebenden Verfahren hat NeuroPeirce zum Ziel, die neuro-kognitive Repräsentation von fundamentalen kognitiven Kategorien, wie sie zuerst vom anerkannten amerikanischen Logiker und Semiotiker Charles Sanders Peirce eingeführt wurden, empirisch zu testen. Peirce postulierte drei Universalkategorien, von denen er annahm, dass sie allen Prozessen der Wahrnehmung, des Denkens und der Kommunikation zugrunde liegen: ERSTHEIT (d.h. eine Qualität, die Möglichkeit von Bedeutung), ZWEITHEIT (d.h. Fakten, Reaktion, kontextualisierte Bedeutung) und DRITTHEIT (d.h. Gewohnheiten, Muster, Regeln). Auch Peirces bekannte Typologie von Zeichenprozessen (Ikon, Index, Symbol) spiegelt diese triadischen Grundtendenzen wider. Dieses Projekt geht von der Annahme aus, dass manuelle Gesten besonders gut geeignet sind, die Validität dieser Kategorien zu testen, da sie weniger stark kodifiziert sind als laut-, gebärden- oder schriftsprachliche Symbole. Die dynamische, räumlich-visuelle Medialität von Gesten erlaubt ein breites Spektrum an Formen, kommunikativen Funktionen und cross-modalen Interaktionen (z.B. mit gesprochener Sprache).

Institutionelle Integration Motion Capture System (Natural Media Lab)

Auf der Basis von im NATURAL MEDIA LAB produzierten Video und Motion Capture Daten, führt das Team eine Reihe von Experimenten mit einem funktionalen Magnetresonanztomographen in der Klinik für Psychiatrie, Psychotherapie und Psychosomatik sowie im JARA-BRAIN Konsortium durch. Ziel dieser Studien ist es herauszufinden, inwiefern kognitive und neuronale Systeme bei der Verarbeitung von gestischen Stimuli mit den Peirceschen Universalkategorien korrelieren.

C.S. Peirce (1839-1914)                  Aktivierungskarte auf einem menschlichen Gehirn

Ein weiteres Ziel ist die Entwicklung von Motion Capture Stimuli für klinische Forschung und Therapien (z.B. für Menschen mit Schizophrenie, Depression oder Autismus), sowie für Verhaltensstudien in der Kognitionspsychologie. Die hier angestrebte stärkere Integration von semiotischen Theorien und Psychopathologien wird von großem Interesse für die zahlreiche Disziplinen sein, die auf Peirces Ideen aufbauen: z.B. die Mathematik, Biologie, Linguistik, Semiotik und die Kognitionswissenschaften. Die Ergebnisse sollen ferner in die Entwicklung von neuen Interaktionstechnologien fließen, vor allem auf den expandierenden Gebieten der neuen Medien und der gestenbasierten Schnittstellen in der Mensch-Maschine-Interaktion.

Mit NeuroPeirce und den anderen laufenden Forschungsaktivitäten baut Natural Media, das Gestenlabor im HumTec Projekthaus weiter aus und leistet weiterhin einen sichtbaren Beitrag zu dem wachsenden Feld der interdisziplinären Gestenforschung - sowie zu den Bereichen KOMMUNIKATION, GESUNDHEIT und TECHNOLOGIE im Sinne der institutionellen Strategie der RWTH Aachen. Dabei wird die verstärkte Kooperation zwischen den Geistes-, Neuro- und Technikwissenschaften die wachsenden Infrastruktur für interdisziplinäre Forschung an der RWTH Aachen festigen, sowie Ressourcen im Projekthaus HumTec, Uniklinikum, von JARA (Jülich-Aachen Research Alliance; Translational Brain Research) und dem Fraunhofer Institut für Informationstechnologie (FIT) verbinden.