logo EDITE Sujets de doctorat

Contribution au game design émotionnel dans les jeux vidéo et pervasifs.

Sujet proposé par
Directeur de thèse:
Encadré par
Doctorant: Viviane GAL
Unité de recherche EA 1395 Centre d'Étude et de Recherche en Informatique et Communications

Domaine: Sciences et technologies de l'information et de la communication

Projet

Jouer pour se divertir, prendre du plaisir, s'évader, apprendre, ... Dans le jeu et à travers notre perception sensorielle, nous recherchons des émotions. Nous aspirons à vivre des moments singuliers qu'ils soient liés à la compétitivité, la coopération, la fantaisie, la curiosité, le divertissement, le défi, ... Afin de satisfaire les joueurs, les créateurs de jeux n'ont de cesse de proposer de nouveaux concepts, de nouvelles approches, des univers variés, de nouvelles interfaces, ... et de l'interactivité. Lorsqu’un individu joue à un jeu vidéo, son attitude, son comportement, sa posture, son expression changent, cela peut l'amener à même ressentir de l'empathie avec des personnages. Ses réactions évoluent au cours du temps et traduisent son état à différents moments. Certains changements d’état peuvent se manifester par des phénomènes physiologiques. Ces éléments, dans la mesure où leurs captures sont réalisables, apportent des informations sur les réactions, l'attitude, l'implication du joueur et renforcent l'expérience du joueur. Notre travail prend son origine dans le projet ANR PLUG (PLay Ubiquitous Games and play more) http://plug.cnam.fr/xwiki/bin/view/PLUG/WebHome. Les caractéristiques obtenues à partir des capteurs biomédicaux étaient ce que nous souhaitions appronfondir lors de cette expérience. Les jeux dits ambiants procurent un contexte où l'environnement et le joueur interagissent en permanence. L'idée de départ est donc de récupérer, en temps réel, des informations objectives sur l'évolution physiologique (et, au mieux, affective) liée aux processus émotionnels des différents joueurs mais aussi de la compléter par des informations associées à leur déplacement, puis, dans un deuxième temps, d'adapter le scénario du jeu au vu des données collectées sur le joueur. Les données des capteurs, via les modules, sont dirigées vers une base de données exploitable soit par un moteur d’adaptation soit par un maître de jeu. PLUG demeure une très belle expérience. Les difficultés rencontrées ont permis d’acquérir des connaissances et certains savoir-faire dans différents domaines. Compte-tenu des résultats recueillis, un des nouveaux premiers objectifs à atteindre est l’intégration de nouveaux capteurs et/ou dispositifs spécifiques dans la chaîne de captation. Il est également primordial de reprendre les expérimentations sur la récupération des réactions émotionnelles, d'en faire une analyse précise fondée sur des techniques de représentation de données multidimensionnelles et ainsi mettre en évidence les relations, les dominantes, une ou plusieurs classifications pertinentes des signaux afin de déterminer les bons critères nécessaires à l’association signaux/émotions. Ce travail préliminaire est essentiel à la mise en place d'un référentiel. Cette correspondance servira aux travaux à venir en lien avec l'élaboration d'une future interface avec les jeux (ou autres applications). Depuis quelques années, je réfléchis à une nouvelle façon d'échanger de l'information en procurant de l'émotion ou en mettant en situation, des joueurs, via une interface encore inexistante. On pourrait se référer dans un premier temps aux travaux réalisés tels que le concept des tablettes de Nokia, le N900 smartphone (plutôt en relation avec le toucher) ou d'odoravision (en relation avec les odeurs et les images) ou d'appareils comme physioScan (en relation avec les potentiels du corps selon une technologie quantique), le but étant d'obtenir du joueur et de lui transmettre des données sensorielles pertinentes personnalisées pour une interaction différente et une immersion renouvelée. Les sens, organes de perception, me semblent le point de départ d'une réflexion sur la capture des éléments qui nous entourent. Comprendre cette acquisition, son acheminement, son interprétation et la réaction via l'influx nerveux est un premier pas. Cela ne suffit pas. En effet, la perception est aussi fonction de nombreux autres paramètres comme l'environnement, l'apprentissage, ... Mes lectures et mes réflexions se tournent vers plusieurs directions. *En psychologie et/ou anatomie - physiologie : - Les émotions et leurs expressions (Anna Tcherkassof) - La psychologie cognitive (Alain Lieury) - L'olfaction - de la molécule au comportement (Gérard Brand) - Emotions, compétences émotionnelles et capital émotionnel (cahiers du Cerfee n°23 2007, travail coordonné par Bénédicte Gendron) - La force des émotions (François Lelord, Chrsitophe André) * En physique, biophysique, physique quantique (Max Planck) : - Introduction de la conscience dans la matière - de la physique quantique à la biologie (J. Bousquet) - L'énergie secrète de l'univers (M. Layet) - L'électricité, l'électromagnétisme, la piézoélectricité - La physique quantique * En affective computing (informatique/psychologie/neurosciences) : - Affective computing (Rosalind W. Picard) - Affective computing and intelligent interaction (proceedings sept 2007 2nd International conference ACII) (Rosalind W. Picard et al.)

Pour mener à bien toutes les expérimentations, il est indispensable de disposer des plates-formes nécessaires. Les travaux dans les domaines des capteurs, émotions, interfaces sont abordés par de nombreux chercheurs et laboratoires, pas forcément dans la même direction ou pas pour les mêmes objectifs mais les différentes approches ou études contribueront à enrichir la démarche, confirmer ou infirmer mes choix. L'objectif de la thèse serait d'offrir aux joueurs de jeux vidéo ou de proposer à d'autres domaines d'application une nouvelle approche, une nouvelle liaison interactive liée aux sens, à des états émotionnels pour une immersion singulière. Pour y arriver, les points suivants devront être traités : - état de l’art sur les différents domaines abordés, les techniques et technologies disponibles, exploitées, les études en cours, … énoncés plus haut - préparer des expérimentations à l'aide de capteurs physiologiques et/ou autres (ondes par exemple), analyser les résultats, dégager une classification relative aux émotions ou états émotionnelles à partir des données d'un ensemble d'individus selon les types de dispositifs manipulés qui auront été explorés, décortiqués - explorer les techniques et méthodologies existantes - analyser les différents éléments, réfléchir à leur combinaison, association ou nouvelle utilisation - proposer une nouvelle approche, concevoir une interface (prototype) - tester et évaluer - conclure et donner les perspectives

bibliographie : [1] A. Paiva, R. Prada, and Rosalind W. Picard, Affective Computing and Intelligent Interaction : Second International Conference, ACII 2007; Lisbon, Portugal, September 2007 Proceedings. Springer, 2007. [2] R. W. Picard, Affective Computing, MIT Press. 2000. [3] J.-M. Danze, Le Système Mora, ou le rationnel en médecine énergétique, 4ème ed. Marco Pietteur, 2010. [4] N. Martin, “La perception sensorielle. Un monde complexe et fascinant.,” avril-2008. [5] G. Brand, L’olfaction - de la molécule au comportement. Solal, 2001. [6] D. Marchand, “Dualité onde-corpuscule - Les ondes de matières.” [7] M. Layet, L’énergie secrète de l’univers. Guy Trédaniel. [8] The Miracle of 528 Hz Solfeggio and Fibonacci numbers. 2010. [9] B. Gendron and et al., Emotions, compétences émotionnelles et capital émotionnel. Presses universitaires de la Méditerranée, 2007. [10] Mandryk and et al., “A fuzzy physiological approach for continuously modeling emotion during interaction with play technologies,” International Journal of Human-Computer Studies, 2007. [11] J. Bierman Dick and I. RadinDean, “Anomalous unconscious emotional responses : evidence for a reversal of the arrow of time,” Toward a Science of Consciousness III, pp. 376–386, 2001. [12] F. Lelord and C. André, La force des émotions - Amour, colère, joie. 2007. [13] A. Tcherkassof, Les émotions et leurs expressions. Presse universitaire de Grenoble (PUG). [14] A. Lieury, Psychologie cognitive. Dunod, 2008. [15] G. Loosli, S.-G. Lee, V. Guigue, S. Canu, and A. Rakotomamonjy, “Perception d’états affectifs et apprentissage,” Revue d’Intelligence Artificielle - Interactions Emotionnelles, pp. 553–582, 2006. [16] J. P. Sanchez-Navarro, J. M. Martinez-Selva, G. Torrente, and F. Roman, “Psychophysiological, behavioral, and cognitive indices of the emotional response : a factor-analytic study,” The Spanish Journal of Psychology, pp. 16–25.

Enjeux

La caractérisation des émotions est un véritable défi de façon générale dans les applications de la vie numérique. C'est un des ingrédient majeur des applications de la future décennie. L'utilisation de cette problématique dans le domaine des jeux vidéos n'en est qu'à ses balbutiements.

Ouverture à l'international

C'est un thème qui intéresse les studios de jeux vidéo, mais aussi les grands laboratoires. Nous avons un contact à Stanford Research Institute qui est lié aux IHM. C'est une collaboration à consolider et à asseoir.

Remarques additionnelles

Thèse faite sur le temps personnel de la candidate.