L'humanité risque-t-elle la catastrophe ? La nécessité d'une gouvernance des systèmes d'armes autonomes

Wendell Wallach, codirecteur de l'initiative "Artificial Intelligence & Equality" du site Carnegie Council, était l'un des principaux orateurs du sommet REAIM qui s'est tenu aux Pays-Bas les 15 et 16 février 2023. Dans son discours, il a expliqué pourquoi la logique qui sous-tend le développement et le déploiement des systèmes d'armes autonomes (AWS) s'inscrit dans la continuité de la stratégie de dissuasion par escalade qui a caractérisé la guerre froide, et ne permet pas de comprendre comment ces systèmes changeront la conduite de la guerre. "Les analystes de la sécurité qui se sont penchés sérieusement sur les défis inhérents à l'introduction des systèmes d'armes autonomes dans la guerre se sont rendu compte qu'il s'agit d'une question profondément problématique. Un contrôle humain significatif des systèmes d'alerte avancée semble impossible". M. Wallach a développé ses idées dans l'essai ci-dessous.

Dans quel film de Walt Disney y a-t-il eu un suicide collectif ? Même les joueurs les plus âgés ont du mal à répondre à cette question. La réponse est le documentaire de Disney sur la nature The White Wilderness (1958), qui montre de grands troupeaux de lemmings sautant des falaises dans la mer pour une mort annoncée. Bien qu'une partie des images ait été mise en scène, la surpopulation peut effectivement pousser les lemmings, qui savent nager, à sauter dans la mer à la recherche d'un nouveau foyer. Au cours de ce processus, certains lemmings se noient, mais leur comportement n'est pas un suicide.

Les 15 et 16 février 2023, les Pays-Bas ont accueilli à La Haye des délégués de plus de 60 pays, dont des chefs d'entreprise et des militaires, ainsi que des universitaires, pour le sommet REAIM, consacré à l'IA responsable dans le domaine militaire. Après huit ans de discussions multilatérales, l'adoption de règles juridiquement contraignantes visant à limiter le développement et le déploiement de systèmes d'armes autonomes capables de sélectionner et de détruire des cibles humaines n'a pas abouti. Le sommet REAIM a été organisé pour poursuivre les discussions et lancer un nouveau processus visant à trouver un accord sur des lignes directrices, des restrictions et une gouvernance mondiale appropriées pour l'utilisation de l'IA dans les affaires militaires.

Le sommet a couvert de nombreux sujets, de l'utilisation de l'IA pour l'aide à la décision à la planification logistique, mais la plupart des participants étaient particulièrement préoccupés par l'autonomie des systèmes d'armes. Les intervenants des fabricants d'armes ont assuré les participants que les systèmes d'armes sans fil feraient l'objet de tests approfondis. Les généraux ont proclamé qu'il y aurait un contrôle humain significatif, car les systèmes d'armes autonomes ne seraient déployés que par des commandants responsables et comptables de leur utilisation. Ils ont affirmé que les systèmes d'alerte avancée étaient essentiels parce que la vitesse des combats dépassait les capacités du personnel, même formé, à réagir suffisamment rapidement. À première vue, ces arguments semblent raisonnables, mais si l'on considère les caractéristiques que l'IA introduit dans la guerre, ils sont naïfs et placent l'humanité sur une trajectoire suicidaire.

En 2015, à l'ONU à Genève, l'expression "contrôle humain significatif" a été introduite par le groupe de défense à but non lucratif Article 36 lors de réunions informelles sur la question de savoir s'il fallait restreindre le développement des SAP. En 2016, toutes les parties utilisaient cette expression, mais il est vite apparu qu'elles parlaient de préoccupations et d'approches très différentes.

Au cours des dernières années, les analystes militaires et de sécurité internationale qui se sont penchés sérieusement sur les défis inhérents à l'introduction de l'IA et des systèmes d'alerte avancée dans la guerre se sont rendu compte qu'il s'agissait d'une question profondément problématique. Garantir un contrôle humain significatif tout au long du cycle de vie d'une munition nécessiterait une vaste infrastructure très coûteuse et semble difficile, voire impossible, à mettre en œuvre. Par exemple, les systèmes d'IA dotés d'une capacité d'apprentissage (apprentissage automatique) nécessiteraient des tests quasi constants. De nouvelles données peuvent entraîner des changements de comportement et la probabilité d'agir d'une manière imprévue. Entre-temps, en utilisant des logiciels et des composants prêts à l'emploi développés par des entreprises technologiques pour des applications non militaires, les systèmes d'alerte avancée se répandront rapidement dans les petits pays et chez les acteurs non étatiques disposant de ressources limitées.

Comme l'apprennent les utilisateurs de ChatGPT et d'autres applications d'IA générative telles que la nouvelle version de Bing de Microsoft, l'IA peut produire des résultats stupéfiants, mais il arrive aussi qu'elle soit tout simplement stupide. Les systèmes d'IA sont des machines probabilistes qui agissent parfois de manière imprévue, en particulier lorsqu'ils sont déployés dans des environnements complexes tels que la guerre. Les résultats ou les actions à faible probabilité sont souvent insignifiants, mais il arrive qu'un événement à faible probabilité ait un impact important. La probabilité multipliée par l'impact est égale au risque. Un système d'alerte avancé avec une charge utile importante est intrinsèquement risqué. Comme l'a inlassablement souligné Nassim Taleb, les événements à faible probabilité et à fort impact sont beaucoup plus fréquents que nous ne le pensons naturellement.

Imaginons qu'un commandant, confronté à un grave dilemme pour sauver des vies dans un contexte de pression temporelle, déploie un drone autonome transportant une munition de grande puissance. Étant donné le brouillard de la guerre, les commandants connaissent rarement la probabilité réelle de succès, mais pour les besoins de l'argumentation, supposons que le commandant sait qu'il y a 87 % de chances d'atteindre l'objectif et de sauver des vies, et seulement 13 % de probabilités d'échec. Mais à son insu, il existe une probabilité de 1 % que le SAP entraîne une escalade involontaire des hostilités. Les commandants qui prennent la décision finale seront-ils tenus pour responsables en cas d'escalade ? Probablement pas, étant donné qu'ils peuvent se retrancher derrière des considérations de sécurité nationale et une forte probabilité de réussite.

Pendant la guerre froide, la logique de dissuasion a alimenté l'adoption de technologies de pointe, des jets supersoniques aux sous-marins nucléaires, ainsi qu'une croissance sans fin du nombre d'ogives. La logique de dissuasion a commencé à s'effondrer lorsque, par exemple, les sous-marins Trident capables de naviguer sous le plateau arctique ont raccourci le délai entre le lancement de missiles nucléaires et les bombes détruisant Moscou. Le temps réduit introduit par cette nouvelle technologie ne permettait pas aux dirigeants soviétiques d'évaluer correctement s'ils étaient effectivement attaqués. Par conséquent, la perspective d'automatiser une riposte nucléaire ou même de lancer une attaque préventive devenait de plus en plus probable.

Aujourd'hui, la Chine et les États-Unis, deux pays à la pointe de la recherche et du développement dans le domaine des applications militaires de l'IA, font lentement monter la tension. La logique de dissuasion est apparemment de retour. La technologie numérique est rapidement adoptée et intégrée dans les applications militaires. Toutefois, avec le temps, la dépendance croissante à l'égard de l'IA évoluera nécessairement vers la dilution du contrôle humain significatif et l'abrogation totale de la responsabilité humaine. L'IA ne sait pas quand elle a commis une erreur. Mais nous, les humains, avons la capacité de reconnaître quand nous sommes sur une voie suicidaire.

Comme les lemmings, les stratèges en matière de défense et de sécurité n'agissent pas en fonction d'un désir de mort inconscient. Ils ont pris la responsabilité de décourager la guerre et de trouver un moyen pour leur nation de survivre en cas de guerre. Ils savent que la logique de dissuasion est défectueuse et que l'accélération du rythme des combats et l'introduction de l'intelligence artificielle pour compenser ne peuvent être contrôlées de manière significative. Cependant, ils ne savent pas quoi faire d'autre. Il est peu probable qu'une interdiction des systèmes d'alerte avancée fonctionne en raison des difficultés rencontrées pour mettre en place un système de conformité et de vérification efficace.

Néanmoins, le temps est venu de reconnaître le piège que nous avons créé et de nous détourner de stratégies de défense de plus en plus risquées. Les États-Unis ont rejoint le processus REAIM et, malgré l'absence de références concrètes aux systèmes d'alerte avancée, ont publié une déclaration politique reconnaissant clairement les nombreux problèmes posés par les dispositifs autonomes dans la conduite de la guerre. N'empêchons pas ce qui pourrait bien être la dernière occasion de mettre en place les normes moins risquées et la gouvernance mondiale nécessaires pour limiter l'utilisation des systèmes d'alerte avancée dans le domaine militaire.

Carnegie Council for Ethics in International Affairs est un organisme indépendant et non partisan à but non lucratif. Les opinions exprimées dans cet article sont celles de l'auteur et ne reflètent pas nécessairement la position de Carnegie Council.