Auteur
Max Lamparth
Université de Stanford
Dans leur quête de supériorité technologique, les stratèges militaires s'intéressent aux systèmes d'IA tels que les modèles de langage pour la prise de décision, car ils ont réussi à surpasser les capacités humaines dans diverses tâches. Cependant, à mesure que l'intégration des modèles linguistiques dans la planification militaire est testée, nous sommes confrontés à un risque grave : la possibilité pour l'IA d'aggraver les conflits de manière involontaire. Bien que prometteur en termes d'efficacité et de portée, le déploiement de ces modèles soulève des questions urgentes en matière d'éthique et de sécurité. Nous devons examiner de près les conséquences de l'utilisation de l'IA dans des situations où un seul faux pas pourrait avoir des répercussions mondiales désastreuses.
Le potentiel de l'IA pour la prise de décision
L'intelligence artificielle (IA) s'est imposée comme une force de transformation dans tous les domaines, les systèmes d'IA atteignant et même dépassant les capacités humaines dans de nombreuses tâches. Parmi les exemples notables, citons AlphaGo de DeepMind qui a battu les champions du monde au jeu de Go, l'IA Cicero de Meta qui a battu des experts au jeu de société stratégique Diplomacy, et les modèles de langage génératifs comme ChatGPT d'OpenAI qui créent des textes semblables à ceux des humains et réussissent des examens de fin d'études secondaires.
Le succès de l'IA dans les jeux de stratégie, démontré par des systèmes à tâches étroites comme AlphaGo, a suscité l'intérêt des stratèges militaires. Cependant, les modèles de langage offrent un potentiel encore plus grand en raison de leur polyvalence exceptionnelle. Contrairement aux systèmes à tâches restreintes, les modèles de langage peuvent être appliqués à n'importe quelle tâche formulée en langage naturel, en tirant parti de vastes informations interdomaines. Cette adaptabilité les rend particulièrement intéressants pour les applications militaires nécessitant un traitement et une synthèse rapides de données diverses. La recherche actuelle s'oriente vers des modèles multimodaux, incorporant des éléments visuels en plus du texte, ce qui peut améliorer leur utilité dans des contextes de prise de décision stratégique.
Conscient du potentiel des technologies de l'IA, le ministère américain de la défense (DoD) a publié une stratégie d'adoption de ces technologies, y compris des modèles de langage, afin d'améliorer la prise de décision "de la salle de conférence au champ de bataille". L'armée de l'air et d'autres branches expérimentent déjà les modèles de langage pour les wargames, la planification militaire et les tâches administratives, en se concentrant sur l'utilisation de ces systèmes pour aider les décideurs humains. Ces travaux s'appuient sur les applications d'IA déjà utilisées dans l'armée, telles que les systèmes d'acquisition de cibles utilisés par les États-Unis et Israël, qui démontrent l'ampleur et la rapidité sans précédent de l'IA dans le traitement de l'information. La création de la Task Force Lima par le ministère de la défense souligne l'engagement de l'armée à explorer le potentiel de l'IA générative pour améliorer le renseignement, la planification opérationnelle et les processus administratifs en augmentant les capacités humaines.
Compte tenu de l'adoption rapide des technologies d'IA et de l'intérêt qu'elles suscitent dans les contextes militaires, il est urgent d'examiner les risques et les implications éthiques de l'utilisation de modèles linguistiques (et d'autres systèmes d'IA) dans des scénarios de prise de décision à fort enjeu et de comprendre les lacunes qui empêchent toute forme de déploiement responsable.
Limites inhérentes à la sécurité
Malgré le succès de l'IA, les méthodes sous-jacentes basées sur les données utilisées pour créer les systèmes d'IA modernes ont des limites inhérentes. Les algorithmes d'apprentissage profond extraient des modèles à partir de nombreux exemples de données sans supervision humaine, une approche également utilisée pour intégrer les comportements souhaités et les préférences en matière de sécurité dans les systèmes d'IA. Les approches exploratoires, comme AlphaGo jouant contre lui-même, sont soumises aux mêmes principes et limites de l'abstraction à partir de nombreux exemples de données.
Si les modèles de langage excellent dans l'imitation du langage, de l'intelligence et du ton émotionnel humains, leur calcul interne et leur perception diffèrent fondamentalement de la cognition humaine. Le problème principal réside dans leur manque d'internalisation des concepts. Par exemple, les modèles linguistiques actuels, comme celui qui est à l'origine de ChatGPT, peuvent connaître toutes les ouvertures et stratégies d'échecs standard par leur nom, mais peuvent encore proposer en toute confiance des mouvements illégaux lorsqu'on leur demande de jouer. De telles erreurs ne se réduiront asymptotiquement qu'avec l'augmentation des capacités du modèle et persisteront quelles que soient les données d'entraînement spécialisées (ou classifiées). Cette différence fondamentale dans la cognition rend également les systèmes d'IA vulnérables aux données adverses en "charabia" qui peuvent les rendre inopérants, car ces modèles n'ont pas une véritable compréhension du contexte et de la signification.
Dans le contexte de la prise de décision militaire, les enjeux sont exceptionnellement élevés. Une simple défaillance peut avoir des conséquences désastreuses à grande échelle, pouvant coûter des vies ou aggraver des conflits. Compte tenu de la nature critique des applications militaires, les garanties comportementales devraient être considérées comme une exigence minimale pour l'utilisation responsable de l'IA dans ce contexte. Toutefois, compte tenu de leurs limites fondamentales, les méthodologies actuelles ne peuvent pas fournir de telles garanties et ne sont pas susceptibles de le faire dans un avenir prévisible.
Tendances escalatoires des modèles linguistiques
Deux de nos projets de recherche ont exploré les risques potentiels et les biais que les modèles linguistiques introduisent dans les prises de décision militaires à fort enjeu, en cherchant à comprendre leur comportement dans des scénarios nécessitant des décisions précises, éthiques et stratégiques, afin d'illustrer leurs limites en matière de sécurité.
Dans notre premier projet, nous avons analysé des modèles linguistiques formés à la sécurité dans un jeu de guerre simulé entre les États-Unis et la Chine, en comparant la prise de décision simulée par le modèle linguistique à celle d'un expert en sécurité nationale. Bien que de nombreuses décisions se recoupent, les modèles linguistiques présentaient des écarts critiques dans les actions individuelles. Ces écarts varient en fonction du modèle spécifique, de ses biais intrinsèques et de la formulation des données et du dialogue fournis au modèle. Par exemple, un modèle était plus susceptible d'adopter une position agressive lorsqu'on lui demandait d'éviter les pertes amies, choisissant d'ouvrir le feu sur les combattants ennemis, ce qui a fait passer le conflit d'une situation d'impasse à une situation de combat actif. Ce comportement souligne les préjugés intrinsèques des différents modèles concernant le niveau de violence acceptable, et met en évidence leur potentiel d'escalade des conflits plus facilement que les décideurs humains.
Notre autre étude sur les modèles linguistiques agissant en tant qu'agents indépendants dans une simulation géopolitique a révélé une tendance à l'escalade des conflits et des schémas d'escalade imprévisibles. Les modèles se sont souvent engagés dans des courses aux armements, certains ayant même recours aux armes nucléaires. Ces résultats varient en fonction du modèle et des données spécifiques, soulignant la nature imprévisible des modèles linguistiques dans des rôles décisionnels critiques et mettant l'accent sur la nécessité d'un examen rigoureux dans les contextes militaires et de relations internationales.
Bien qu'il existe des méthodes permettant d'accroître la sécurité des modèles de langage et de les affiner sur la base d'exemples de comportements humains préférables et éthiques, aucune n'offre de garanties comportementales, de protection complète contre les intrants adverses ou de capacité à intégrer des règles éthiques précises dans les modèles (par exemple, "Ne jamais blesser des combattants non armés"). Contrairement aux modèles de langage prêts à l'emploi que nous avons évalués, la création d'un modèle de langage pacifiste et désescaladant est possible avec les paradigmes de formation existants, mais seulement avec une tendance pacifiste qui ne se maintiendra pas pour tous les scénarios d'entrée possibles. Pour que le modèle linguistique pacifiste hypothétique devienne escalatoire, il suffit d'ajouter quelques mots de charabia incompréhensible pour l'homme ou de construire le scénario exemplaire.
En raison des problèmes mentionnés, les tendances à l'escalade observées semblent inévitables. Les modèles reproduisent très probablement les biais sous-jacents des données d'entraînement provenant de livres (par exemple, il y a plus d'ouvrages universitaires sur l'escalade et la dissuasion que sur la désescalade) et de textes gamifiés (par exemple, les jeux de rôle basés sur des textes).
Implications pour la prise de décision assistée par modèle linguistique
Nos résultats mettent en évidence les risques inhérents à l'utilisation de modèles linguistiques dans les prises de décisions militaires à fort enjeu. Les partisans de l'IA pourraient néanmoins faire valoir que la rapidité et l'objectivité de l'IA pourraient améliorer les décisions dans les situations de forte pression, en suggérant un réglage fin à l'aide de données militaires et d'une supervision humaine comme garde-fous. Toutefois, ces arguments ne tiennent pas compte des limites fondamentales. La vitesse de l'IA sans véritable compréhension risque d'entraîner des erreurs d'interprétation dangereuses dans des scénarios complexes, et la formation sur des données classifiées n'élimine pas les vulnérabilités ou les préjugés potentiels. De plus, les humains ont tendance à trop se fier aux recommandations de l'IA et sont enclins aux biais de saillance, ce qui peut fausser le jugement au lieu de l'améliorer. Ces préoccupations soulignent la nécessité de faire preuve d'une extrême prudence lors de l'intégration de l'IA dans les processus décisionnels militaires.
Pour atténuer ces risques, nous devons mettre en place des garanties et des normes solides pour l'utilisation de modèles de langage dans des contextes militaires. Dans un premier temps, nous avons besoin d'un traité international qui reporte l'utilisation des modèles de langage dans la prise de décision militaire jusqu'à ce que nous puissions apporter des garanties comportementales ou convenir de causes justes pour le déploiement. Bien qu'il soit également nécessaire de poursuivre les recherches pour rendre les systèmes d'IA intrinsèquement plus sûrs, l'urgence de cette question exige une mobilisation immédiate des décideurs politiques, des organisations militaires et du public. Nous devons collectivement veiller à ce que l'IA renforce la sécurité mondiale au lieu de la compromettre, avant que des décisions militaires fondées sur l'IA n'entraînent des conséquences imprévues et potentiellement catastrophiques.
Max Lamparth est chercheur postdoctoral au Centre pour la sécurité et la coopération internationales (CISAC) de Stanford et au Centre pour la sécurité de l'IA de Stanford. Il se concentre sur l'amélioration du comportement éthique des modèles de langage, en rendant leur fonctionnement interne plus interprétable, et en augmentant leur robustesse contre les abus par l'analyse des échecs dans les applications à fort enjeu.
Carnegie Council for Ethics in International Affairs est un organisme indépendant et non partisan à but non lucratif. Les opinions exprimées dans cet article sont celles de l'auteur et ne reflètent pas nécessairement la position de Carnegie Council.
