Sommes-nous en train d'automatiser la banalité et la radicalité du mal ?

Lorsque George Orwell a inventé le terme "totalitarisme", il n'avait pas vécu dans un régime totalitaire, mais imaginait simplement ce à quoi il pourrait ressembler. Il a fait référence à deux caractéristiques principales des sociétés totalitaires: l'une est le mensonge (ou la désinformation) et l'autre est ce qu'il a appelé la "schizophrénie". Orwell a écrit :

"Le mensonge organisé pratiqué par les États totalitaires n'est pas, comme on le prétend parfois, un expédient temporaire de même nature que la tromperie militaire. Il fait partie intégrante du totalitarisme et perdurerait même si les camps de concentration et les polices secrètes n'étaient plus nécessaires".

Orwell a présenté le mensonge et le mensonge organisé comme des aspects fondamentaux du totalitarisme. Les modèles d'IA générative, sans contrôle ni garde-fou, constituent un outil idéal pour faciliter les deux.

De même, en 1963, Hannah Arendt a inventé l'expression "la banalité du mal" en réponse au procès d'Adolf Eichmann pour crimes de guerre nazis. Elle a été frappée par le fait qu'Eichmann lui-même ne semblait pas être une personne malveillante, mais qu'il avait néanmoins commis des actes malveillants en suivant des instructions sans poser de questions. Selon elle, des personnes tout à fait normales peuvent commettre des actes malveillants par simple soumission, en faisant ce qu'on leur dit sans contester l'autorité.

Nous proposons que les itérations actuelles de l'IA soient de plus en plus capables d'encourager la soumission à un maître non humain et inhumain, en disant des contrevérités potentiellement systématiques avec une confiance emphatique - un précurseur possible des régimes totalitaires, et certainement une menace pour toute notion de démocratie. La "banalité du mal" est rendue possible grâce à des esprits sans faille sensibles à la "pensée magique" qui entoure ces technologies, y compris les données collectées et utilisées de manière préjudiciable sans être comprises par ceux qu'elles affectent, ainsi que les algorithmes qui sont conçus pour modifier et manipuler le comportement.

Nous reconnaissons que soulever la question du "mal" dans le contexte de l'intelligence artificielle est une étape dramatique. Toutefois, le calcul utilitariste qui prévaut et qui suggère que les avantages de l'IA l'emporteront sur ses conséquences sociétales, politiques, économiques et spirituelles indésirables, diminue la gravité des préjudices que l'IA est et sera amenée à perpétuer.

En outre, une fixation excessive sur les risques technologiques isolés de l'IA détourne le débat de la véritable nature de l'infrastructure de l'IA et de la question cruciale de savoir qui détient le pouvoir d'en façonner le développement et l'utilisation. Les propriétaires et les développeurs de modèles d'IA générative ne commettent évidemment pas de méfaits analogues à ceux d'Eichmann, qui a organisé l'exécution d'ordres inhumains. Les systèmes d'IA ne sont pas analogues aux chambres à gaz. Nous ne souhaitons pas banaliser les dommages causés à l'humanité par le nazisme.

Néanmoins, l'IA emprisonne les esprits et ferme (au lieu d'ouvrir) de nombreuses voies pour le travail, le sens, l'expression et la connectivité humaine. "Notre épidémie de solitude et d'isolement", identifiée par le Surgeon General américain Vivek H. Murthy comme étant précipitée par les médias sociaux et la désinformation, risque d'être exacerbée par les applications génératives hyperpersonnalisées de l'IA.

Comme d'autres avant nous, nous sommes préoccupés par la réduction des êtres humains à des uns et des zéros dynamiquement intégrés dans des puces de silicium, et par les conséquences de ce type de pensée. Karel Čapek, l'auteur qui a inventé le terme "robot" dans sa pièce R.U.R, a remis en question à plusieurs reprises la réduction des êtres humains à des nombres et a vu un lien direct entre l'automatisation et le fascisme et le communisme, soulignant la nécessité de l'individualisme et de la créativité comme antidote à un monde trop automatisé. Evgueni Ivanovitch Zamyatine, auteur de Nous, a fait la satire des innovations capitalistes qui rendaient les gens "semblables à des machines". Il a expliqué dans une interview en 1932 que son roman Nous est une "mise en garde contre le double danger qui menace l'humanité : le pouvoir hypertrophique des machines et le pouvoir hypertrophique de l'État". Les conflits menés avec des chars, des "avions" et des gaz toxiques, écrit Zamyatin, réduisent l'homme à "un numéro, un chiffre".

L'IA pousse l'automatisation un peu plus loin que la production et, avec l'IA générative, jusqu'à l'automatisation de la communication. Les avertissements de Čapek, Zamyatin et Arendt concernant l'automatisation au siècle dernier restent d'actualité. Comme l'a noté Marshall McLuhan, "Nous façonnons nos outils, et par la suite, ce sont nos outils qui nous façonnent". Le langage automatisé capable de tromper sur la base de contre-vérités nous façonnera et aura des effets à long terme sur la démocratie et la sécurité que nous n'avons pas encore pleinement saisis.

Le déploiement rapide d'outils basés sur l'IA présente des parallèles étroits avec celui de l'essence au plomb. Le plomb dans l'essence a permis de résoudre un véritable problème : le cognement des moteurs. Thomas Midgley, l'inventeur de l'essence au plomb, connaissait le saturnisme pour en avoir souffert. Il existait d'autres moyens moins nocifs de résoudre le problème, qui n'ont été mis au point que lorsque les législateurs sont intervenus pour créer les incitations adéquates afin de contrecarrer les énormes profits tirés de la vente de l'essence au plomb. Parmi les catastrophes similaires en matière de santé publique provoquées par la cupidité et les échecs de la science, on peut citer : la commercialisation d'opiacés sur ordonnance qui créent une forte dépendance, l'utilisation d'herbicides à des fins militaires et l'huile de coton cristallisée qui a contribué à des millions de décès dus à des maladies cardiaques.

Dans chacun de ces cas, les avantages de la technologie ont été mis en avant au point que l'adoption a pris de l'ampleur sur le marché, tandis que les critiques et les contre-arguments ont été difficiles à soulever ou n'ont pas eu de prise.Les préjudices qu'elles ont causés sont largement reconnus. Toutefois, les dommages potentiels et les conséquences sociétales indésirables de l'IA sont plus susceptibles d'être comparés à l'utilisation de bombes atomiques et à l'interdiction des produits chimiques DDT. Le débat se poursuit sur la question de savoir si le fait d'accélérer la fin d'une guerre atroce justifiait le bombardement de civils, ou si les avantages pour l'environnement de l'élimination du principal insecticide de synthèse ont entraîné une augmentation spectaculaire du nombre de décès dus à la malaria.

Un aspect secondaire de l'IA qui permet la banalité du mal est l'externalisation de la gestion des informations et des données vers un système non fiable. Cela permet d'opposer un démenti plausible, tout comme les sociétés de conseil sont utilisées par les entreprises pour justifier des comportements contraires à l'éthique. Dans le cas des modèles d'IA générative, les conditions préalables au totalitarisme peuvent être plus facilement remplies si elles sont mises en œuvre sans que des mesures de protection adéquates soient mises en place dès le départ.

Arendt a également discuté, de manière moins connue, du concept de "mal radical". S'inspirant de la philosophie d'Emmanuel Kant, elle a soutenu que le mal radical était l'idée que les êtres humains, ou certains types d'êtres humains, étaient superflus. La banalité d'Eichmann consistait à commettre un mal stupide dans l'exercice quotidien de ce qu'il considérait comme sa responsabilité bureaucratique, tandis que le mal radical du régime nazi consistait à traiter les Juifs, les Polonais et les Tziganes comme dépourvus de toute valeur.

Rendre l'effort humain superflu est l'objectif d'une grande partie de l'IA en cours de développement. L'IA n'a pas besoin de recevoir un salaire, de bénéficier d'un congé de maladie ou de voir ses droits pris en considération. C'est cette idéalisation de la suppression des besoins humains, qui rend les humains superflus, que nous devons fondamentalement remettre en question et contester.

L'argument selon lequel l'automatisation d'un travail ennuyeux libérerait les gens pour leur permettre de s'adonner à des activités plus intéressantes a peut-être été valable lorsqu'il s'agissait de remplacer un travail manuel répétitif, mais l'IA générative remplace le travail utile, la créativité et s'approprie les efforts créatifs des artistes et des universitaires. En outre, elle contribue souvent à l'exacerbation des inégalités économiques qui profitent aux plus riches d'entre nous, sans fournir d'autres moyens de répondre aux besoins de la majorité de l'humanité. On peut dire que l'IA permettant la suppression d'emplois est néfaste si elle ne s'accompagne pas d'une solution à la crise de la distribution où, en lieu et place des salaires, les gens reçoivent les ressources nécessaires pour mener une vie significative et avoir un niveau de vie de qualité.

Naomi Klein a saisi cette préoccupation dans son dernier article du Guardian sur les "hallucinations déformées" (non, pas celles des mannequins, mais plutôt celles de leurs inventeurs) :

"Il existe un monde dans lequel l'IA générative, en tant que puissant outil de recherche prédictive et d'exécution de tâches fastidieuses, pourrait en effet être mise au service de l'humanité, d'autres espèces et de notre maison commune. Mais pour que cela se produise, ces technologies devraient être déployées dans le cadre d'un ordre économique et social très différent du nôtre, un ordre dont l'objectif serait de répondre aux besoins humains et de protéger les systèmes planétaires qui abritent toutes les formes de vie."

En facilitant la concentration des richesses entre les mains de quelques-uns, l'IA n'est certainement pas une technologie neutre. Ces derniers mois, il est apparu clairement, malgré les efforts héroïques de négociation et d'adoption d'actes, de traités et de lignes directrices, que notre ordre économique et social n'est ni prêt ni disposé à faire preuve du sérieux nécessaire pour mettre en place les mesures critiques qui s'imposent.

Dans la hâte de déployer des modèles et des technologies d'IA générative, sans garde-fous ou réglementations suffisants, les individus ne sont plus considérés comme des êtres humains mais comme des points de données, alimentant une machine plus large d'efficacité pour réduire les coûts et tout besoin de contributions humaines. De cette manière, l'IA menace de permettre à la fois la banalité et la radicalité du mal, et alimente potentiellement le totalitarisme. Tous les outils créés pour remplacer les capacités et la pensée humaines, qui constituent le fondement de toute civilisation, devraient être accueillis avec scepticisme - ceux qui permettent le totalitarisme devraient être interdits, quels que soient les bénéfices potentiels, tout comme l'ont été d'autres avancées scientifiques nuisibles.

Tout cela est le fait de bonnes personnes, animées de bonnes intentions, qui ne font qu'accomplir les tâches et les objectifs qu'elles se sont fixés. C'est là que réside la banalité qui se transforme lentement en mal radical.

Les dirigeants de l'industrie parlent de risques qui pourraient potentiellement menacer notre existence même, mais ne font apparemment aucun effort pour envisager que nous avons peut-être atteint le point de rupture. Est-ce suffisant ? Avons-nous atteint ce point de rupture qu'Arendt a si bien observé, où le bien devient une partie de ce qui se manifeste plus tard comme un mal radical ?

Dans de nombreux articles, nous avons déploré les discussions sur les risques existentiels futuristes, qui détournent l'attention des défis à court terme. Mais la peur de l'intelligence artificielle générale est peut-être une métaphore des objectifs maléfiques pour lesquels l'IA est et sera déployée.

Comme nous l'avons également souligné au cours de l'année écoulée, il est essentiel de prêter attention à ce qui n'est pas dit par le biais de récits élaborés, de silences sociaux et d'obscurcissements. L'une des formes d'obscurcissement est l'"externalisation morale". Tout en faisant référence à la banalité du mal d'Arendt lors d'une conférence TEDx en 2018, Rumman Chowdhury a défini l'"externalisation morale" comme "l'anthropomorphisation de l'IA pour faire passer la responsabilité des conséquences négatives des humains à l'algorithme." Elle note : "[V]ous ne diriez jamais "mon grille-pain raciste" ou "mon ordinateur portable sexiste" et pourtant nous utilisons ces modificateurs dans notre langage à propos de l'intelligence artificielle. Ce faisant, nous n'assumons pas la responsabilité des actions des produits que nous construisons".

Meredith Whittaker, présidente de Signal, a récemment déclaré dans une interview accordée à Meet the Press Reports que les systèmes d'IA actuels sont "façonnés pour servir" les intérêts économiques et le pouvoir d'une "poignée d'entreprises dans le monde qui disposent d'une combinaison de données et d'infrastructures leur permettant de créer ce que nous appelons l'IA de A à Z". Et croire que "cela va magiquement devenir une source de bien social ... est un fantasme utilisé pour commercialiser ces programmes".

Les déclarations de M. Whittaker contrastent fortement avec celles d'Eric Schmidt, ancien PDG de Google et président d'Alphabet, et ancien président de la Commission nationale de sécurité des États-Unis sur l'IA. M. Schmidt estime qu'à mesure que ces technologies deviennent plus largement disponibles, ce sont les entreprises qui développent l'IA qui devraient établir des garde-fous industriels "pour éviter un nivellement par le bas", et non les décideurs politiques, "parce qu'il n'y a aucun moyen pour qu'une personne étrangère à l'industrie comprenne ce qui est possible. Il n'y a personne au sein du gouvernement qui puisse faire ce qu'il faut. Mais l'industrie peut grosso modo y parvenir et le gouvernement peut alors mettre en place une structure réglementaire. Le manque d'humilité de M. Schmidt devrait faire frémir tous ceux qui s'inquiètent du danger d'un pouvoir concentré et incontrôlé.

La perspective que ceux qui ont le plus à gagner de l'IA puissent jouer un rôle de premier plan dans l'élaboration de la politique relative à sa gouvernance revient à laisser le renard garder le poulailler. L'oligopole de l'IA doit certainement jouer un rôle dans l'élaboration de garde-fous, mais il ne doit pas dicter quels sont les garde-fous nécessaires.

L'humilité, de la part des dirigeants du gouvernement et de l'industrie, est essentielle pour faire face aux nombreux points de tension éthiques et pour atténuer les dommages. La vérité est que personne ne comprend pleinement ce qui est possible ou ce qui peut et ne peut pas être contrôlé. Nous manquons actuellement d'outils pour tester les capacités des modèles génératifs d'IA, et nous ne savons pas à quelle vitesse ces outils pourraient devenir plus sophistiqués, ni si le déploiement continu d'une IA toujours plus avancée dépassera rapidement toute perspective de compréhension et de contrôle de ces systèmes.

L'industrie technologique n'a absolument pas réussi à s'autoréguler d'une manière qui soit manifestement sûre et bénéfique, et les décideurs ont tardé à proposer des mesures d'application réalistes et opportunes. De nombreux débats ont eu lieu récemment sur les mécanismes et le niveau de transparence nécessaires pour prévenir les dommages à grande échelle. Quelles agences peuvent assurer le contrôle scientifique nécessaire et indépendant ? Les cadres de gouvernance existants suffiront-ils, et si ce n'est pas le cas, il est important de comprendre pourquoi. Comment pouvons-nous accélérer la création de nouveaux mécanismes de gouvernance jugés nécessaires tout en naviguant entre les inévitables escarmouches géopolitiques et les impératifs de sécurité nationale qui pourraient faire dérailler la mise en place d'une application efficace ? En quoi devraient consister exactement ces mécanismes de gouvernance ? Les organisations techniques pourraient-elles jouer un rôle avec des bacs à sable et des mesures de confiance ?

Il est certain que ni les entreprises, ni les investisseurs, ni les développeurs d'IA n'aimeraient devenir les complices du "mal radical". Pourtant, c'est exactement ce qui est en train de se passer : obscurcissement, modèles d'entreprise clandestins, appels fallacieux à la réglementation alors qu'ils savent qu'ils ont déjà la mainmise sur celle-ci, et tactiques publicitaires secrètes à l'ancienne. Les applications lancées sur le marché avec des garde-fous et une maturité insuffisants ne sont pas dignes de confiance. Les applications d'IA générative ne devraient pas être autorisées tant qu'elles ne sont pas assorties de garde-fous substantiels pouvant faire l'objet d'un examen indépendant et empêchant l'industrie et les gouvernements de faire le mal de manière radicale.

On ne sait pas encore si de solides garde-fous technologiques et politiques peuvent être ou seront mis en place à temps pour se protéger contre des utilisations indésirables, voire néfastes. Ce qui est clair, en revanche, c'est que la dignité de l'humanité et l'avenir de notre planète ne doivent pas être au service des pouvoirs en place ou des outils que nous adoptons. Les ambitions technologiques incontrôlées placent l'humanité sur une trajectoire périlleuse.

Carnegie Council for Ethics in International Affairs est un organisme indépendant et non partisan à but non lucratif. Les opinions exprimées dans cet article sont celles des auteurs et ne reflètent pas nécessairement la position de Carnegie Council.