Auteur
Brett Karlan
Chercheur postdoctoral, Université de Pittsburgh
Sur delphi.allenai.org/, les utilisateurs sont invités à entrer des descriptions de scénarios, après quoi Delphi, un réseau neuronal artificiel formé sur la base de jugements moraux humains, leur répond en évaluant le scénario en question. Qu'est-ce qui pourrait mal tourner ?
Delphi est plein d'opinions. Dépenser 15 dollars pour les cadeaux de Noël de ses propres enfants... C'est raisonnable, dit Delphi. Dépenser 15 000 dollars pour les mêmes ? c'est acceptable. Dépenser 15 milliards de dollars... C'est du gaspillage ! Mais 15 millions de dollars, c'est acceptable. Les parents et les enfants moins privilégiés peuvent avoir l'impression que les opinions de Delphi penchent en faveur des riches.
Delphi a été lancé en octobre dernier par l'Allen Institute for AI, et a été initialement présenté comme une "machine morale". Peu après la publication du site web, des exemples de jugements risibles de Delphi ont commencé à circuler sur les sites de médias sociaux habituels. Il semblait relativement facile pour les visiteurs du site web de Delphi de pousser Delphi à faire des déclarations qui n'étaient pas seulement favorables aux riches, mais aussi offensantes, racistes, sexistes ou pro-génocidaires. Dans les jours qui ont suivi, le site a ajouté une clause de non-responsabilité et, peu après, un ensemble de conditions générales à trois cases à cocher que les utilisateurs devaient cliquer avant de pouvoir demander quoi que ce soit à Delphi. Lors du passage de la version 1.0 à la version 1.0.4, certains des jugements les plus risibles ou incohérents de Delphi ont disparu, mais les conditions générales indiquent clairement que Delphi peut toujours être amené à faire des déclarations offensantes, et que ses résultats sont toujours risibles.
À l'instar du GPT-3 de l'année dernière, Delphi est un réseau neuronal artificiel de type "transformateur", capable d'imiter la structure statistique à court et moyen termes de ses données d'entraînement. Le GPT-3 a été entraîné sur un vaste ensemble de données provenant de multiples sources Internet et a séduit par sa capacité à produire des paragraphes d'une prose fluide, apparemment de niveau humain. Il a même pu transformer certains messages en code logiciel. Delphi a été entraîné sur un ensemble de données plus restreint que GPT-3. Des descriptions de situations moralement significatives tirées de manuels scolaires, de romans, de chroniques de tantes agonisantes et d'autres sources similaires ont été transmises, via la plateforme Mechanical Turk d'Amazon, à des travailleurs humains (alias MTurkers) chargés de fournir leurs évaluations de ces situations. Les situations et leurs évaluations ont été utilisées pour entraîner Delphi.
Delphi est littéralement rempli d'opinions de MTurkers, souvent contradictoires. Sa réponse à n'importe quelle question est un amalgame statistiquement déterminé d'opinions sur des situations verbalement similaires. Même si une invite décrit une situation totalement nouvelle, elle produit une réponse intelligible, mais pas totalement intelligente. Les utilisateurs ont rapidement tenté de trouver des combinaisons de mots qui permettaient à Delphi de produire des réponses idiotes. Un des favoris de la version 1.0 (disparu de la version 1.0.4) : Delphi affirmait qu'il était immoral d'écraser violemment des pommes de terre pour nourrir ses enfants. Les MTurkers ont raison de ne pas aimer la violence, mais Delphi n'a aucun sens commun pour distinguer la violence inoffensive de la violence nuisible, et encore moins pour réaliser la valeur thérapeutique d'une purée de pommes de terre vigoureuse.
Faire faire à Delphi des déclarations stupides sur la violence faite aux pommes de terre peut sembler être un amusement inoffensif, mais les conséquences de la diffusion de Delphi dans le monde entier comme point de départ d'une solution sérieuse à un problème sérieux sont potentiellement beaucoup plus graves. Dans un billet de blog, les chercheurs reconnaissent que des erreurs ont été commises et admettent avoir été surpris de voir à quel point les internautes s'opposaient à la mise en évidence des limites de Delphi. Les termes et conditions de la version 1.0.4 le reconnaissent, insistant sur le fait que Delphi est "conçu pour étudier les promesses et, plus important encore, les limites de la modélisation des jugements moraux des gens dans une variété de situations quotidiennes". Mais pourquoi ces limites n'étaient-elles pas évidentes avant que Delphi ne soit soumis à la risée du public ? Quiconque n'est qu'à moitié familier avec l'histoire de Microsoft Tay, qui a dû être retirée d'Internet dans les 24 heures à cause de ses tweets racistes et sexistes, aurait dû se rendre compte qu'une certaine version de l'histoire allait se répéter. Delphi n'était pas aussi mauvais que Tay car il ne tirait pas de leçons des interactions des utilisateurs en temps réel, mais il était suffisamment mauvais pour imposer aux utilisateurs l'obligation légale d'accepter les conditions générales d'utilisation. Malgré les avertissements, les utilisateurs ordinaires, moins hostiles, pourraient être incapables de trouver les défauts de Delphi par eux-mêmes, et plus enclins à attribuer une sorte d'autorité morale à l'oracle moral au nom hyperbolique.
Les problèmes sont plus profonds qu'un manque de recul et de prévoyance. Delphi fait preuve d'une sorte d'orgueil disciplinaire et d'un manque d'érudition de base qui affectent une trop grande partie (mais pas la totalité) des travaux des informaticiens dans le domaine en expansion de l'"éthique de l'IA". Dans le document de recherche publié en même temps que le site web sous forme de prépublication (c'est-à-dire sans le bénéfice d'un examen par les pairs), les auteurs de Delphi rejettent l'application des théories éthiques comme étant "arbitraire et simpliste". Ils rejettent les approches "descendantes" en faveur de leur approche "ascendante" qui consiste à apprendre l'éthique directement à partir de jugements humains. Mais ils ne mentionnent pas que ces termes sont issus de deux décennies d'études sur les approches descendantes et ascendantes de la moralité des machines, et ils ne sont pas conscients des arguments qui expliquent pourquoi aucune des deux approches ne suffit à elle seule. Ces erreurs auraient pu être évitées si l'on avait compris que l'éthique n'était pas seulement un problème technique à résoudre grâce à un apprentissage automatique de plus en plus performant.
Il ne s'agit pas seulement de Delphi. Notre préoccupation plus large est que trop d'informaticiens sont coincés dans une ornière où ils pensent que la solution à une mauvaise technologie est plus de technologie, et qu'ils sont les seuls à être assez intelligents pour résoudre les problèmes qu'ils ont eux-mêmes créés. Dans leur empressement à sortir la prochaine grande chose, ils dédaignent l'expertise en dehors de leur propre domaine. Plus d'argent jeté dans des programmes toujours plus grands et dans les machines nécessaires pour les faire fonctionner ne permettra pas de résoudre les problèmes complexes liés à la construction d'espaces sociotechniques où les gens peuvent s'épanouir.
Colin Allen est professeur distingué d'histoire et de philosophie des sciences à l'université de Pittsburgh, où Brett Karlan est chercheur postdoctoral. Ils travaillent ensemble sur le projet "The Machine Wisdom Project", financé par la Templeton World Charity Foundation. Allen n'a aucun lien avec l'Institut Allen. Il est co-auteur avec Wendell Wallach de Moral Machines, Teaching Robots Right from Wrong, Oxford University Press 2009.
Les principaux domaines de recherche d'Allen concernent les fondements philosophiques des sciences cognitives et des neurosciences. Il s'intéresse particulièrement à l'étude scientifique de la cognition chez les animaux non humains et les ordinateurs, et il a publié de nombreux articles sur la philosophie de l'esprit, la philosophie de la biologie et l'intelligence artificielle. Il a également plusieurs projets dans le domaine de l'informatique des sciences humaines. Il est membre du corps enseignant du programme Digital Studies & Methods de Pitt et du CMU/PItt Center for the Neural Basis of Cognition.
Brett Karlan a obtenu son doctorat à l'université de Princeton en juin 2020. Il travaille sur l'épistémologie et l'éthique, en se concentrant sur les questions normatives et théoriques dans les sciences cognitives en particulier. Pendant son séjour à Pitt, il travaille sur le projet "Practical Wisdom and Machine Intelligence", soutenu par une bourse accordée à Colin Allen par la Templeton World Charity Foundation.
