logo EDITE Sujets de doctorat

Partage de l'autorité et conflits éthiques dans un système homme-robot

Sujet proposé par
Directeur de thèse:
Encadré par
Doctorant: Fiona BERREBY
Unité de recherche UMR 7606 Laboratoire d'informatique de Paris 6

Domaine: Sciences et technologies de l'information et de la communication

Projet

Problématique générale

Le contexte de la thèse est celui du couplage d’un opérateur humain avec un engin robotisé doté de fonctions décisionnelles. L’autonomie de l’engin est variable selon l’autorité exercée respectivement par les fonctions décisionnelles et par l’opérateur humain sur les différentes ressources nécessaires à la mission. Ainsi le contrôle d’une ressource pourra, en cours de mission, passer des fonctions décisionnelles du robot à l’opérateur et réciproquement, ce partage de l’autorité présentant des risques de conflits [PTD14] lorsque les deux agents « veulent » simultanément avoir le contrôle d’une même ressource. Des travaux de thèse antérieurs [GTP12, GPPT13, GT13] ont permis de concevoir un protocole expérimental, inspiré du célèbre dilemme du trolley, visant à étudier les conflits d’autorité lorsque le système constitué de l’opérateur et du robot est soumis à des conflits qui relèvent de l’éthique, et qui n’ont donc pas de « bonnes solutions ».

De manière générale, les conflits d’autorité entre l’opérateur et la machine peuvent être dus à la présence de buts divergents des deux agents, ou à une appréciation différente de la situation sur laquelle ils se fondent pour prendre la décision. Dans le cas de conflits qui relèvent de l’éthique, cette appréciation de la situation, ainsi que l’évaluation des conséquences d’une décision, sont cruciales, et ne peuvent se limiter à une simple instanciation de règles.

La thèse a pour objectif d’étudier ce type de conflit d’autorité de manière la fois théorique et expérimentale, d’identifier ses précurseurs, d'étudier sa dynamique et sa gestion au sein du système constitué de l’opérateur humain et du robot.

Programme de la thèse

La thèse a pour objectif d’étudier le conflit d’ordre éthique dans un système constitué d’un opérateur humain et d’un robot considéré comme un conflit d’autorité entre deux agents. Ce conflit sera en particulier étudié lorsque les fonctions décisionnelles du robot sont plus ou moins développées, ou que l’opérateur humain est plus ou moins occupé à une autre tâche (par exemple la supervision simultanée d’un autre robot).

Pour cela il s’agira de :

  • établir un complément à l'état de l'art relatif aux questions éthiques liées aux décisions prises dans le cadre du couplage opérateur - robot (en particulier lorsque celui-ci est armé) ;
  • définir des comportements possibles du robot, en envisageant plusieurs cadres de décision (par exemple, le robot peut-il ou non reprendre l’autorité sur une fonction que contrôle l’opérateur ?)
  • modéliser les conflits d’autorité entre l’opérateur et le robot, en se fondant sur une analogie avec les dilemmes éthiques, en vue de leur explication et de la conception d’aides à leur gestion ;
  • définir les paramètres pertinents à faire varier dans le cadre d’expérimentations avec des volontaires ;
  • définir des métriques pertinentes pour évaluer la performance du couplage entre l’opérateur et le robot face aux conflits que l’opérateur humain peut appréhender comme étant d’ordre éthique ;
  • monter une expérimentation avec des volontaires et des engins robotisés simulés, puis réels, réaliser ces expérimentations et analyser les résultats ;
  • proposer des recommandations quant à la mise en œuvre de robots en interaction avec des opérateurs humains.
  • Les expérimentations seront réalisées en partenariat avec l’équipe Facteurs Humains de l’ISAE.

    Enjeux

    Très peu de travaux concernent la modélisation et la gestion des conflits d’ordre éthique dans un système homme-robot. On peut citer par exemple l’approche à partir de cas d’Anderson [AAA06] qui concerne l’acquisition de connaissances éthiques, par dialogue, dans le domaine très particulier de la santé. Il existe aussi des travaux sur la résolution de conflits d’ordre éthique, comme l’architecture réactive/délibérative d’Arkin [Ark07]., qui comprend un « ethical governor », mais qui concernent essentiellement des robots autonomes, avec un couplage faible avec l’homme. D’autres travaux s'intéressent à la mise en œuvre d'un raisonnement éthique dans les robots ou des agents autonomes. Les approches peuvent être 'top-down' (algorithmes fondés sur une théorie éthique particulière) [Clo05, BT12, Gan07, Ore06] - cependant les règles mises en œuvre sont générales et rigides et peinent à être applicables dans des contextes particuliers ; ou bien 'bottom-up' (en général fondées sur l'apprentissage du robot de ses propres capacités éthiques) [Spa07] - qui peuvent présenter des risques de comportements indésirés ; ou enfin hybrides [McL06, WA09].

    L’originalité de la recherche proposée réside dans le fait d’étudier le conflit d’ordre éthique comme un cas particulier de conflit d’autorité entre l’opérateur et la machine, de le modéliser formellement, et de mener des expérimentations avec des volontaires sur des robots réels.

    Remarques additionnelles

    Jean-Gabriel Ganascia et Catherine Tessier participent tous deux au projet ANR ETHICAA (ETHICs and Autonomous Agents - 2014-2017), dans lequel est traitée en particulier la question du conflit d’ordre éthique dans les systèmes multiagents impliquant des agents humains et des agents robotisés.

    Jean-Gabriel Ganascia et Catherine Tessier font tous deux partie de la CERNA (Commission de réflexion sur l’Éthique de la Recherche en sciences et technologies du Numérique d’Allistene), et en particulier du groupe de travail relatif à l’éthique de la recherche en robotique.

    Catherine Tessier travaille depuis plusieurs années sur les questions de partage de l’autorité et de conflits entre l’homme et la machine, en collaboration avec l’ISAE (thèses co-encadrées) [MTD10, TD12, PTD14].

    Jean-Gabriel Ganascia est aussi membre du COMETS (Comité d’Ethique du CNRS). Il travaille depuis plusieurs années sur la formalisation des systèmes éthiques [Gan07] et sur la programmation d’agents normatifs [TG12]

    Références de l’équipe et bibliographie

    [AAA06] M. Anderson, S. Anderson, and C. Armen - An approach to computing ethics. IEEE Intelligent Systems, pp. 56–63, July/August 2006.

    [Ark07] R.C. Arkin - Governing lethal behavior: Embedding ethics in a hybrid deliberative/reactive robot architecture. Tech. report, Georgia Institute of Technology, 2007

    [BT12] S. Bringsjord and J. Taylor - The Divine-Command Approach to Robot Ethics. In Robot Ethics: The Ethical and Social Implications of Robotics, MIT Press, 2012.

    [Clo05] C. Cloos - The utilibot project: An autonomous mobile robot based on utilitarianism. 2005 AAAI Fall Symposium on Machine Ethics

    [Gan07] Jean-Gabriel Ganascia - Modeling Ethical Rules of Lying with Answer Set Programming. Ethics and Information Technology, vol. 9, pp. 39-47, 2007

    [GPPT13] Florian Gros, Thierry Pichevin, Éric Pomès, Catherine Tessier - L’ « autonomie » de la machine dans les systèmes homme-machine : évolution ou révolution du champ de bataille? Aspects juridiques et éthiques. Dynamiques Internationales, n°8, juillet 2013

    [GT13] Florian Gros and Catherine Tessier - Ethical Systems and Human-Robot Interaction – The case for authority sharing. Workshop: "A Construction Manual for Robot’s Ethical Systems",Vienna, Austria, September 2013

    [GTP12] Florian Gros, Catherine Tessier, Thierry Pichevin - Ethics and Authority Sharing for Autonomous Armed Robots. ECAI’12 Workshop on "Rights and Duties of Autonomous Agents (RDA2)", Montpellier, France, August 2012.

    [McL06] B. McLaren - Computational models of ethical reasoning: Challenges, initial steps, and future directions. IEEE Intelligent Systems, pp. 29–37, July/August 2006

    [MTD10] S. Mercier, C. Tessier, and Fr. Dehais - Détection et résolution de conflits d’autorité dans un système homme-robot. Revue d’Intelligence Artificielle, numéro spécial "Droits et Devoirs d’Agents Autonomes", 24(3/2010) :325–356, 2010

    [Ore06] B. Orend - The Morality of War, Broadview Press, Peterborough, Ont., 2006. [PTD14 ] Sergio Pizziol, Catherine Tessier, Frédéric Dehais - Petri net-based modelling of human-automation conflicts in aviation. Ergonomics, Jan. 2014 DOI:10.1080/00140139.2013.877597 http://dx.doi.org/10.1080/00140139.2013.877597

    [Spa07] R. Sparrow - Killer robots. Journal of Applied Philosophy, 24(1), 62–77, 2007 [TD12] C. Tessier and Fr. Dehais - Authority management and conflict solving in human-machine systems. AerospaceLab, The Onera Journal, 4, 2012

    [WA09] W. Wallach and C. Allen - Moral Machines: Teaching Robots Rights from Wrong. Oxford University Press, New York, 2009

    [TG12] M. Tufis, J.-G. Ganascia - Normative Rational Agents, a BDI Approach, Workshop RDA2 - Rights and Duties of Autonomous Agents, ECAI-2012, August 2012.