Zusammenfassung

CEEGE ist ein multidisziplinäres Forschungsprojekt mit dem primären Ziel, das wissenschaftliche Verständnis in den Disziplinen Informatik und Kognitive Neurowissenschaften zu verbessern. Das Projektziel besteht darin, aktuelle Theorien zur mentalen Modellierung von Problemlösungs- und Aufmerksamkeitsprozessen experimentell zu evaluieren und zu vergleichen, sowie Techniken zur Beobachtung von physiologischen Reaktionen von Menschen in unterschiedlichen Situationen, wie z.B. Zufriedenheit, Unzufriedenheit, Erregung, Dominanz und Furcht, zu testen und weiter zu entwickeln. Im CEEGE Projekt geschieht dies über die Erfassung multi-modaler Daten, wie z.B. mentalen Gedächtnisrepräsentationen, Blickbewegungen (Eye-Tracking), der Erkennung von Gesichtsausdrücken (Mikroexpressionen) und Posturen, sowie von Vitalparametern (z.B. Durchblutung, Hautleitfähigkeit, Atemfrequenz) mit Hilfe von Sensoren bei Spielern mit unterschiedlicher Expertise beim Lösen von klassischen Schachproblemen und in realen Spielsituationen.Aus den aufgezeichneten visuellen Wahrnehmungsprozessen und psychologischen Reaktionen können wir das Ausmaß bestimmen und modellieren, in dem Spieler die Spielsituationen in Bezug auf die abstrakten Konfigurationen von Schachfiguren verstehen und bewerten. Das Schachspiel Szenario bietet hier eine gut kontrollierbare Testumgebung, die es uns erlaubt, auf systematische Weise aktuelle Theorien zur mentalen Modellierung von Problemlösungs- und Aufmerksamkeitsprozessen, sowie zu emotionalen Reaktionen bei Problemlösungsprozessen und bei sozialen Interaktionen zu evaluieren.
Das Projekt ist in drei Phasen gegliedert. Während der ersten Phase werden wir einzelne Spieler mit unterschiedlicher Expertise beim Lösen bekannter Schachprobleme beobachten. Wir werden die dabei aufgezeichneten multi-modalen Daten miteinander korrelieren, um auf diese Weise Zusammenhänge zwischen entsprechenden Schachkonstellationen und den zugehörigen Lösungsstrategien herzustellen. Dies erlaubt es uns, einen annotierten Korpus von Schachspielen zu konstruieren, mit dessen Hilfe konkurrierende Theorien für mentale Modelle zu Problemlösungs- und Aufmerksamkeitsprozessen und physiologischen Reaktionen evaluiert werden können. In der zweiten Phase werden wir die Aufmerksamkeit und Gesichtsausdrücke von Spielpartnern unterschiedlicher Expertise während des dyadischen Schachspiels beobachten. Dabei werden wir die aufgezeichneten Daten hinsichtlich der Schwierigkeit der Schachsituation und der Stärke der gezeigten psychologischen Reaktionen annotieren und segmentieren. In der abschließenden Phase werden wir anhand dieser Daten die Fähigkeit unterschiedlicher Techniken zur mentalen Modellierung und Emotionsbeobachtung hinsichtlich ihrer Vorhersagefähigkeiten von individueller Schachexpertise, Spielausgängen und individuellen Schachzügen, als auch Selbsteinschätzungen, bewerten.
(DFG-Projektnummer 284240816)

Zusammenfassung

CEEGE (Chess Expertise from Eye Gaze and Emotion) is a joint multidisciplinary project by CITEC and INRIA (L'Institut National de Recherche en Informatique et en Automatique Grenoble). In this project we seek to experimentally evaluate and compare current theories for mental modeling in problem solving and attention, as well as to refine and evaluate techniques for observing the physiological reactions on humans in situations that inspire pleasure, displeasure, arousal, dominance and fear. Chess is the most popular board game in Europe, enjoys worldwide popularity and there are exactly differentiable skill levels (e.g. ELO system) in contrast to many other domains of expertise studied in psychology. The context of a chess game is a delimited 2-dimensional setup with countable defined movements while at the same time players engage in complex mental tasks involving problem solving and memory. We exploit this balance between complexity and simplicity and base our experiments on chess players, in which we observe the visual attention, physiological responses and mental states of subjects with different levels of expertise solving classic chess problems, and participating in chess matches (dyadic game scenario). These multi-modal data will allow us to evaluate and compare current models and help to specify and measure chess expertise from visual attention and physiological reactions. To understand more about coding, templates and chunking processes in short-term memory and to reveal cognitive mechanisms of expert performance is our aim. Finally, the results should help to detect individual impairments and offer rigorous and detailed training methods for chess players, culminating in a personal chess assistant program which records and employs eye tracking data and data concerning physiological reactions to give a feedback on how accurately a player is understanding chess templates used in training units.
The experiments are distributed between CITEC Bielefeld and INRIA Grenoble. In CITEC, our team will correlate scan-path from eye-tracking and information about visual attention to established configurations of pieces and known solutions to chess problems, and construct a labeled dataset of visual parameters by expertise. In INRIA Grenoble, Prof. J. Crowley?s team will measure physiological parameters of emotion (facial micro-expressions, skin conductivity, blood flow (BVP), respiration, posture) of pairs of players of different levels of chess expertise during a game. These data are annotated and segmented with respect to the difficulty of the game situation as well as situations which elicit particularly strong physiological reactions. Finally, we will use all of our recorded multi-modal data to evaluate the effectiveness of competing techniques for mental modeling and, for the observation of emotions in terms of their abilities to predict the chess expertise, game outcomes, individual moves and player reports.
(DFG-Projekt number 284240816)