Prepared for the Innovation & Regulation in Digital Services Chair, France, in September 2013, during my research internship at Imperial College London:
«[…]and prevent avoidable adverse impact on the environment and society[…]»
Codes of Conduct of Engineers – ECUK guidelines. Engineering Council.
Introduction
L’ automatisation des activités humaines touche une grande diversité de secteurs des sociétés contemporaines : la santé, le transport publique, et le militaire n’en sont que quelques exemples où, visiblement, des machines de toute forme accomplissent des activités très variées.
En réalité, l’automatisation des activités par l’autonomisation des outils n’est pas un phénomène moderne. Dégallier et Mudry (2007) rappellent en effet que des références à des entités mythologiques artificielles et autonomes peuvent être retrouvées dans l’Iliade d’Homère, et que les Egyptiens, les Romains et d’anciennes civilisations en Orient utilisaient des statues articulées dans des rituels religieux.
Le développement technologique et l’évolution des paradigmes informatiques des dernières années ont pourtant permis de passer de récits imaginaires et d’implémentations rustiques à une réalité virale où la mise en fonctionnement de systèmes autonomes semble s’intensifier dans des environnements complexes et proches du grand public. Il suffit de regarder, par exemple, les niveaux d’automatisation des systèmes de transport en commun comme les métros pour illustrer comment le pilotage traditionnel laisse la place aux systèmes intelligents (c.f. Annexe, Figure 1, Union Internationale des Transports Publics). En ce qui concerne le transport privé, les états de Nevada, Florida et Californie ont approuvé des lois qui permettent la mise en circulation d’automobiles autonomes en mode de test. De manière similaire, dans le militaire, des entités mobiles autonomes sont déployées en terre, mer et air pour réduire des pertes humaines dans les conflits et pour améliorer la collecte systématique de données stratégiques, pour citer quelques raisons majeures. Finalement, dans le domaine de la santé, des robots télécommandés semblent permettre d’augmenter l’offre de services médicaux dans les zones mal desservies (TF1, 5 août 2013 à 20h35).
Mais, que se passerait-t-il si ces entités autonomes, lors de leur opération de routine, étaient à l’origine d’accidents ferroviaires, routiers ou militaires ? Cette interrogation qui donne la motivation de base à notre étude est difficile à aborder, notamment parce que plusieurs domaines et concepts se superposent. Prenez par exemple les littératures française et anglo-saxonne qui analysent le cas des systèmes autonomes létaux. Les notions récurrentes dans ces publications —robot, autonomie, responsabilité, éthique, morale, loi, … — ne sont pas, en effet, faciles à relier (c.f. Annexe, figures 2 et 3). À cette difficulté, il faut rajouter la dimension culturelle qui sépare les sociétés occidentales des orientales. Plus particulièrement, le Japon semble percevoir les robots de manière différente que l’Occident, avec un impact significatif sur leur degré et forme de sophistication (Kitano, 2005).
Plusieurs auteurs essayent pourtant de trouver un fil conducteur capable de relier tous ces concepts et d’orienter ainsi la réflexion autour de la maîtrise des possibles effets de l’utilisation de robots, en amont et en aval (Asaro, 2008; Marchant et al., 2011; Singer, 2009; Sparrow, 2007; Geser, 2011; Lin 2008; Olsthoorn and Royakkers, 2011). Il est important de souligner que les apports les plus prolifiques proviennent des branches de l’intelligence artificielle, philosophie, éthique, théologie, biologie, physiologie, sciences cognitives, neurosciences, droit, sociologie, psychologie et design industriel (Dégallier et Mudri, 2007; Veruggio and Operto, 2006), et surtout, dans le monde du militaire.
Notre ambition principale est de repérer les arguments et les réflexions de base pour les appliquer aux autres domaines touchés par l’autonomisation des machines, et essayer ensuite d’orienter la discussion vers la gouvernance des systèmes autonomes. Nous traiterons majoritairement le cas des robots en Occident. Notre objectif n’est pas d’étudier en profondeur les perspectives juridiques, sociologiques, philosophiques et techniques autour de la gouvernance des robots, mais plutôt de souligner les interrogations principales de la littérature avec la finalité d’organiser quelques conférences et workshops ciblés très prochainement.
Contrôle, autonomie et complexité
Autonomie ne sous entend pas complexité, et complexité ne sous entend pas autonomie. Pourtant, lorsqu’on dit robot, on imagine une entité autonome et complexe. En réalité, un robot est tout simplement un système qui reconnaît son environnement, qui pense, et qui agit en fonction : l’autonomie d’un robot se trouve dans sa capacité à penser et à exécuter des actions physiques —électrique, mécanique, …—. Empiriquement, l’autonomie est donc un continuum de réglages oscillant entre deux extrêmes: des entités sous le contrôle direct de l’homme et des systèmes capables de prendre des décisions sans l’intervention de ce dernier. Des systèmes hybrides ou intermédiaires produisent des propositions d’action mais sont néanmoins surveillés et contrôlés par un véto humain symbolisé, pour simplifier, par un switch on/off, mais qui peut prendre des formes variées, suivant la performance de leur batterie par exemple.
L’indépendance est donc un point central dans la caractérisation d’un robot puisque c’est celle-ci qui lui donne sa capacité à penser et à agir. Techniquement, un robot pense grâce à des algorithmes codés dans son dispositif de mémoire: les règles d’action, de réaction et d’apprentissage en dépendent. L’informatique des années 70 et 80 a mis en fonctionnement des machines capables d’exécuter des algorithmes déterministes. A l’époque, les résultats produits par une machine pouvaient être prévus avec un haut degré de certitude du fait que les logiciels suivaient un ordre d’exécution d’instructions facilement décelable. Les décennies suivantes, les logiciels exécutés par les machines sont devenus plus complexes à cause non seulement de l’intégration de centaines de composantes programmées de manière indépendante mais aussi de l’augmentation radicale du nombre de lignes de code. Les créateurs de logiciels ont perdu leur position de pouvoir relative puisqu’aucun d’entre eux n’était capable de comprendre intégralement la fonctionnalité du produit; impossible donc de créer des scénarios de test exhaustifs. Depuis quelques années maintenant, des nouveaux paradigmes en informatique ont donné naissance à des formes de programmation moins déterministes et basées sur l’intelligence artificielle, et sur l’apprentissage et l’entraînement des algorithmes. La nature sophistiquée des algorithmes génétiques et des réseaux neuronaux qui en résultent s’additionne donc à la complexité de l’interaction des composantes des systèmes pour ainsi donner naissance à des automates qui peuvent produire des résultats totalement imprévus.
L’homme contemporain se voit donc dépassé par la complexité des algorithmes qu’il conçoit et par la performance des processeurs des robots. Il est incapable de suivre en temps réel et donc de contrôler la logique derrière l’exécution de millions de lignes d’instructions codées dans ses machines. Il est par conséquent incapable de prévoir avec certitude toutes les solutions qu’un robot doté de raisonnement algorithmique trouvera et doit se contenter de faire des prévisions nébuleuses. Matthias (2004) souligne que la notion de contrôle est primordiale dans la détermination de la responsabilité. Un problème se dessine donc de manière naturelle : comment peut-on s’assurer que, dans l’ensemble de possibilités invisibles à l’œil humain —y compris à ceux des experts—, il n’y aura pas de comportements dangereux ou contreproductifs ? Et dans le cas échéant, qui doit être tenu responsable ?
Prévision, responsabilité et loi
Il est nécessaire de souligner le rôle fondamental de la prévision et du contrôle dans la société. En effet, les systèmes juridiques tentent de limiter des activités moralement incorrectes dans le futur par la punition et l’analyse des actions passées et par la formulation de règles de comportement sous forme de constitutions et lois ; les forces armées nationales et internationales existent pour renforcer les normes qu’une société accepte de suivre, et sont souvent déployées pour minimiser les altérations. La société accepte de ne pas trop se poser des questions sur les actions futures des individus à condition que les institutions soient fortes, et, lorsque des activités requièrent d’un degré significatif de responsabilité, que les individus soient correctement entrainés pour faire leur travail. On accepte ainsi qu’un soldat ait le droit de tuer parce qu’il a été scrupuleusement formé et est donc sensé être capable de juger correctement les situations avant de déclencher un coup de feu létal.
En montant dans un avion, dans un train ou même dans un bus, on confie sa propre vie à un ensemble de personnes —pilote, équipes de maintenance, contrôleurs, …— parce qu’on suppose que des organismes qui régulent et qui surveillent l’entraînement des opérateurs fonctionnent correctement; que les machines fonctionnent correctement; et que les responsables sont dans les conditions optimales pour mener un déplacement à bien. Inconsciemment, nous répartissons la responsabilité parmi les acteurs. Dans le cas des systèmes autonomes artificiels, il semblerait qu’un degré virtuel de confiance se développe progressivement, et que l’humain attribue aussi une certaine responsabilité au système autonome per se.
Prenez par exemple le cas de l’accident ferroviaire de Saint-Jacques-de-Compostelle le 24 juillet 2013. D’après le conducteur, le train, en plus de rouler beaucoup trop vite, a freiné trop tard (le Parisien, 26.07.2013): l’homme dépend visiblement du fonctionnement correct des systèmes et lui attribue un degré de responsabilité plus grand en fonction de son autonomie (Kim et Hinds, 2006). Matthias (2004) prend le cas hypothétique d’un robot sur Mars. Si, entre les vingt minutes qui séparent les communications entre le robot et la Terre, le robot tombe dans un trou, qui devrait en supporter la responsabilité ?
Il est difficile d’imaginer le cas espagnol si le train de Saint-Jacques-de-Compostelle avait été totalement autonome, puisque la complexité des composantes et l’état de la machine et des algorithmes au moment de l’accident auraient été très difficilement décelables. De plus, on ne pourrait pas se contenter de dire que « personne n’est responsable » aux familles affectées. Si l’erreur est causé par une mauvaise interaction entre composantes, la faute est-elle de l’ingénieur ou du fabriquant qui n’a pas testé le robot dans la condition particulière de l’accident ? Certains auteurs étudient la possibilité d’attribuer la responsabilité au robot même et les problèmes qui en découlent (Solumn, 1992; Asaro 2007). Matthias (2004) parle d’un vide de responsabilité, ou responsibility gap, puisque l’ingénieur, en donnant l’autonomie au robot, perd son contrôle sur celui-ci. D’après lui, personne n’est responsable, et c’est pour cette raison que les assurances existent. Ce vide de responsabilité est pourtant critiqué par Marino et Tamburrini (2006) puisque des principes légaux existants peuvent le résoudre.
Nous pourrions simplifier le raisonnement et dire qu’en réalité, c’est le constructeur du système autonome le responsable ultime de son fonctionnement. Allons plus loin. Pour assurer son avenir économique, le constructeur doit comprendre exactement l’origine des accidents et des problèmes. Si le système est trop complexe à déboguer, le constructeur optera certainement pour enlever des degrés d’autonomie et de sophistication à ses produits pour assurer leur contrôle et maîtriser ainsi la responsabilité, le conduisant inéluctablement à une spirale de dé-autonomisation. Le constructeur pourra aussi opter pour acheter une assurance. Mais si, hypothétiquement, un système d’assurance contre le risque de mauvais fonctionnement des robots se développe, quelles variables seraient prises en compte dans un environnement assez mystérieux et obscur ? Quelles seraient les clauses des contrats qui permettraient aux assurances de trouver des équilibres économiques responsables ?
Si l’homme décide de déployer naïvement et impulsivement des robots dans des environnements proches du grand public, il sera sûrement nécessaire de répartir dans la société entière les coûts liés aux risques des événements dont personne ne peut être tenue pour responsable. Devrait-on s’attendre à une charge sociale robotique future ?
Etique, morale et technique
Pour résoudre le problème de l’imprévisibilité des actions du robot en amont, certains auteurs suggèrent une approche moins conséquentialiste. Les technologies autonomes devraient, selon eux, être dotées de règles éthiques et morales dans leurs configurations techniques. Les lois de la robotique d’Asimov en sont un exemple. Arkin (2007) formalise une implémentation qui permettrait la création d’un système robotique autonome capable d’utiliser une force létale de manière éthique, en suivant les normes internationales de combat et de guerre. Nous assistons donc à une gouvernance éthique des robots par l’introduction technique de règles et de normes dans la machine, qui par conséquent, en plus d’être autonome, acquiert une personnalité.
Mais, assumons pour un moment que l’énonciation de toutes les règles éthiques et morales est dérivable de créations littéraires humaines —textes religieux, philosophiques, …—. Ceci, comme le suggère Geser (2011), pourrait être un bon point de partie pour gouverner le comportement des robots. Un des problèmes de ce cas hypothétique est qu’il faudrait s’assurer que la traduction des règles reste objective et ne perde pas de précision lors de la transformation en langage numérique; cette tâche, pour l’instant, dépasse les responsabilités —et les compétences— des ingénieurs en informatique. Le scientifique et le robot sont en effet loin de devenir des entités capables d’émettre des jugements justes de manière systématique et procédurale, et d’intégrer et d’implémenter donc dans leurs activités une machine d’évaluation morale qui ressemblerait à un système judiciaire mobile en amont.
Vers quelle forme de gouvernance ?
La nature imprévisible des robots et leur faculté à dépasser quelques capacités humaines —comme la vitesse de réflexion et de réaction— semblent être des justifications suffisantes pour mettre en place des mécanismes de gouvernance qui dirigent le progrès des futurs automates, surtout de ceux qui peuvent anéantir physiquement et psychologiquement l’être humain. Le retard est évident, puisqu’à présent, il n’existe pas de lois ou de traités liés à la restriction ou la gouvernance de robots dans le cas du militaire (Marchant et al.; 2011) où la robotique semble avancer plus vite qu’ailleurs.
Ce n’est pourtant pas la première fois que l’homme contemporain se trouve face à ce problème. Collinridge (1980) reconnaît en effet un problème fondamental dans la gouvernance des nouvelles technologies ; avant leur développement et déploiement, les risques potentiels sont insaisissables, tandis que lorsque la technologie a été développée et déployée, il est souvent trop tard parce que le momentum commercial s’exacerbe.
Marchant et al. (2011) discutent néanmoins des possibles formes de gouvernance internationale pour les systèmes autonomes létaux dans le militaire. Ces formes de gouvernance peuvent en effet être très efficientes. Il existe par exemple plusieurs conventions en loi internationale qui permettent de faire face aux pratiques technologiques dans le champ des armes biologiques, chimiques, mines et lasers, entre autres. Les ripostes politiques internationales aux attaques chimiques récentes en Syrie montrent la force de cette gouvernance qui semble justifier des interventions militaires. Plusieurs formes sont ainsi envisageables: principes éthiques à travers la modification ou le perfectionnement des politiques nationales ; changements au droit de la guerre et aux Rules of Engagement ; traités internationaux ; ou une variété de mécanismes de gouvernance soft law.
En Septembre 2009, l’expert en robotique Noel Sharkey, le physicien Jurgen Altmann, l’expert en bioéthique Robert Sparrow et le philosophe Peter Asaro créent the International Committee for Robot Arms Control (ICRAC) pour essayer de limiter l’utilisation de robots létaux en se basant sur un modèle de traité international utilisé pour le cas des armes biologiques et nucléaires. Ils proposent par exemple d’interdire le port d’armes nucléaires par des robots (Marchant et al.; 2011). Nous remarquons pourtant une différence subtile —mais probablement fondamentale dans des réflexions futures— entre l’utilisation de systèmes autonomes robotiques et d’autres armes, biologiques et chimiques comprises. L’objectif primordial de ces dernières est d’abattre le plus grand nombre d’adversaires, tandis que l’objectif primordial des robots semble être, dès le début de leur conception, l’optimisation et l’amélioration des capacités humaines pour ainsi rendre leur maître humain plus performant.
Cette différence est beaucoup plus évidente dans la culture japonaise où un éventail d’options robotiques se présente dans le domaine de la santé, par exemple, pour réduire les coûts du système de soin d’une population qui vieillit. En effet, le coté animiste de la culture japonais permet aux personnes d’accepter plus facilement un objet artificiel, puisque tous les objets de la nature auraient une âme (Kitano, 2005; Dégallier et Mudri, 2007). Leur attribuer des fonctionnalités de soutien et d’accompagnement pour les malades et les plus âgés ne soulève pas donc une inquiétude.
Est-ce que les formes de gouvernance utilisées dans le militaire seraient donc la meilleure base pour commencer la construction d’une gouvernance des robots ? Pour répondre, il faut regarder de plus près les règles et les restrictions existantes dans d’autres domaines, comme celui du transport privé, et plus particulièrement, celui des véhicules autonomes au Nevada et la technologie Google Driverless Car. Le cas est intéressant, puisqu’il permet de repérer des actions législatives relatives aux entités autonomes. Actuellement, il est possible de postuler auprès de the Department of Motor Vehicles pour avoir le droit à tester des véhicules autonomes. Cette possibilité n’est pas ouverte au grand public.
Les formulations législatives résultantes, malgré leur évidente difficulté à définir des termes comme “véhicule autonome” ou “intelligence artificielle”, permettent d’apprécier les premiers pas vers une gouvernance des robots autonomes (Nevada Department of Motor Vehicles; 2013). En effet, pour avoir accès à une licence de test pour un véhicules autonome, une batterie de conditions doit être remplie: les candidats, qui doivent avoir une maîtrise correcte des procédures de test pour les véhicules autonomes, doivent prouver que la technologie a été testée sur dix mille milles et que les véhicules peuvent manœuvrer face aux dispositifs de contrôle de trafic (feux, passages piéton, …), entre autre requis. Si la postulation est approuvée, une licence de test d’un an est octroyée au candidat. Une zone géographique limitée est ensuite accordée, et il est demandé de compter, à tout moment, avec la présence d’un conducteur et d’un copilote dans la voiture autonome pour assurer la sécurité des autres voyageurs dans les voies publiques.
Ces requis bureaucratiques ne constituent pourtant pas le plus intéressant de ce cas puisqu’ils n’abordent pas le sujet de la responsabilité dont il a été question précédemment. C’est dans le document Digest for Adopted Regulation R_084-11 (Nevada Department of Motor Vehicles; 2013) que nous trouvons trois points d’intérêt particulier:
- « […] the owner of an autonomous vehicle is required to submit a copy of the certificate of compliance and proof of insurance. […] »
- « […] For purposes of enforcing traffic laws and other applicable laws, section 4 provides that the operator of an autonomous vehicle that is operated in autonomous mode shall be deemed the driver of the autonomous vehicle, even if the operator is not physically present in the autonomous vehicle while it is engaged. […]»
- « […] the person must submit an application which, among other things, requires the person to acknowledge that the operator is subject at all times to the traffic laws and other applicable laws in this State and pay a fee of $5 […] »
Les points illustrent comment la législation à Nevada résout le problème de responsabilité qui n’appartient ni au constructeur ni à l’ingénieur. La responsabilité du véhicule est détenue par le conducteur qui détient la licence, et le fait qu’il soit présent ou pas dans le véhicule ne présente aucune différence. Ce conducteur doit pourtant être assuré, et donc, en cas d’accident c’est finalement l’assureur qui paye. Même si nous n’avons malheureusement pas trouvé des modèles de contrats d’assurance pour les véhicules autonomes à Nevada —ce qui nous permettrait de fermer la boucle de notre parcours— nous pouvons dire que, dans le cas des tests des véhicules autonomes, la législation et le cadre juridique évolue et remplit assez simplement le vide de responsabilité sans nécessairement envisager des traités internationaux complexes.
Quelques mots pour finir
Comme prévu, nous arrivons à la fin de notre étude exploratoire avec plus de questions qu’au début. Pour arriver à une forme efficiente de gouvernance il faut en effet spécifier les attentes, créer des solutions réalistes, inclure toutes les parties prenantes dans la formulation des règles (Marchant et al.; 2011). De plus, les solutions proposées doivent être soumises à des évaluations précises et doivent donc être mesurables. Pour cela, il faut donc mettre sur la table les points délicats; il nous semble que nous avons parcouru les interrogations principales et qu’une succession de conférences et de workshops peuvent en découler en se basant sur quelques cas précis.
En effet, nous avons repéré les apports principaux de quelques publications fondatrices de la réflexion autour de l’éthique, de la morale et de la responsabilité des systèmes autonomes artificiels en Occident, pour arriver finalement à envisager des possibles futurs où les institutions que nous connaissons aujourd’hui, (légales, judiciaires, d’assurance, d’éducation des ingénieurs) devront être modifiées si nous voulons continuer à déployer des systèmes autonomes près des citoyens des sociétés modernes occidentales. Les formes de gouvernance des systèmes autonomes artificiels dans le militaire semblent être inadaptées pour la gouvernance des robots dans le transport privé, mais ceci ne veut pas dire qu’une structure de gouvernance qui s’inspire de l’expérience dans d’autres secteurs est inimaginable. Un point est évident : il ne peut pas exister une seule structure de gouvernance pour tous les robots. La gouvernance des systèmes autonomes devrait être créé en fonction du domaine d’application. Ainsi, des formes très diverses de gouvernance seront repérables, dans le futur —nous en apercevons déjà quelques unes entre le militaire et le transport privé—, pour les domaines du militaire, du transport privé, du transport public, et de la santé.
Il est important de souligner que nous avons évité des discussions autour de quelques particularités. Le sens de système autonome artificiel, par exemple, est difficile à cerner si nous considérons que les entités vivantes —règnes animalia et plantae, mais pourquoi pas, bacteria, protozoa, chromista et fungi aussi— pourraient être connectées à des composantes robotiques. Dans le futur, nous pouvons très facilement imaginer des humains avec des composantes technologiques branchées à leurs systèmes neurologiques pour améliorer la qualité de vie de certains handicapés. Est-ce que la gouvernance des systèmes autonomes devrait considérer ces cyborgs comme des entités hybrides ? Si, dans un futur proche, des nanorobots peuvent s’accoupler aux microorganismes, notre débat s’inscrirait-t-il sous la toile de la gouvernance des armes biologiques ou celle des robots ?
De même, nous avons centré notre discussion sur les systèmes autonomes artificiels en temps qu’entités complexes, et nous avons laissé de côté la considération de robots plus simples, mais pour lesquels le nombre fait la force. En réalité, la société en général a une idée utopique façonnée par les romans et les films de science fiction, de ce que pourrait être et faire un robot. D’après nos conversations avec un doctorant en robotique à Imperial College London, les tâches simples pour l’homme (comme soulever un verre ou une tasse) sont extrêmement difficiles à apprendre à un robot. Il est donc sans doute important de considérer des entités autonomes moins sophistiquées qui accomplissent des tâches complexes par la collaboration et le travail en équipe.
Pour finir, il faut dire que les activités que les robots les plus sophistiqués sont capables de faire aujourd’hui sont loin, voire très loin, de se rapprocher d’une autonomie totale et multiforme. Ceci n’est pourtant pas une raison pour s’interroger sur la pertinence et l’intérêt actuel de notre étude. Au contraire, nous avons la possibilité de poser les bonnes questions pour l’avenir robotique.
José Tomás Prieto
Electrical Engineering Building.Imperial College London. Août 2013
Références
– Arkin (R. C.).. « Governing Lethal Behavior: Embedding Ethics in a Hybrid Deliberative / Reactive Robot Architecture », Mobile Robot Laboratory, College of Computing, Georgia Institute of Technology. 2007
– Asaro, Peter; How Just Could a Robot War Be?, in ADAM BRIGGLE, KATINKA WAELBERS, AND PHILIP BREY (eds.), CURRENT ISSUES IN COMPUTING AND PHILOSOPHY 1 , 7 -‐ 9 (2008).
– Dégallier (S.) et Mudry (PA), « Ethique robotique : entre mythes et réalité », Faculté Informatique et Communications, Ecole Polytechnique Fédérale de Lausanne, juin 2007.
– Geser (H.), « Modest Prospectives for Military Robots in Today’s Asymetric Wars », Universität Zürich, World Society and International Relations, Janvier 2011.
– Goffi (E.), « Morale, éthique et puissance aérospatiale », article dans l’ouvrage Boutherin (G.), Grand (C.), Envol vers 2025. Réflexions prospectives sur la puissance aérospatiale, Paris, La documentation française, 2011.
– Kim, Taemie and Hinds, Pamela: Who Should I Blame ? Effects of Autonomy and Transparency on Attributions in Human-Robot Interaction. In Proc. of the Interna- tional Symposium on Robot and Human Interactive Communication (RO-MAN’06), pages 80–85, September 2006.
– Kitano, Naho. Roboethics; a Comparative Analysis of Social Acceptance of Robots Between the West and Japan. The Waseda Journal of Social Sciences, 6, 2005.
– Lefèvre (S.), La robotisation des armées occidentales modernes : enjeux et perspectives, thèse sous la direction de Justine Faure, Université Robert Schuman – IEP de Strasbourg, mai 2008.
– Lin, P et al. Autonomous Military Robotics: Risk, Ethics, and Design. US Department of Navy, Office of Naval Research. 2008
– Matthias (A) « The responsibility gap: Ascribing responsibility for the actions of learning automata », Ethics and Information Technology, n°6, 2004.
– Marchant G et al, “International Governance of Autonomous Military Robots” (2011) 12 Colum Sci & Tech L Rev 272 at 274.
– Nevada Department of Motor Vehicles. 2013. Autonomous Vehicles – www.dmvnv.com/autonomous.htm
– Marino, Dante and Tamburrini, Guglielmo: Learning Robots and Human Responsabil- ity. International Review of Information Ethics, 6:46–50, 2006.
– Olsthoorn (P.), Royakkers (L), « Risks and Robots - some ethical issues », Netherlands Denfense Academy, 2011.
– Singer (PW), “Ethical Implications of Military Robotics”, The 2009 William C. Stutt Ethics Lecture, United States Naval Academy, 25 mars 2009.
– Singer (PW .), “Military robots and the laws of war”, The New Atlantis, Winter 2009.
– Sparrow, Robert, Killer Robots, 24 JOURNAL OF APPLIED PHILOSOPHY 66 (2007)
– TF1, 5 août 2013 à 20h35. http://videos.tf1.fr/jt-20h/2013/etats-unis-des-medecins-remplaces-par-des-robots-pour-certaines-8242102.html