Pendant l'atelier de l'accélérateur d'éthique Accélérateur d'éthique Carnegiedu 8 novembre 2023 sur l'IA dans la diplomatie, les participants ont cocréé des scénarios potentiels (dans les cinq prochaines années) à partir de l'utilisation de l'IA pour des tâches de traduction, de recherche et d'idéation. Les scénarios ci-dessous sont inspirés de cette session de travail. Ces scénarios ont été élaborés conjointement avec un communiqué : Les compromis de l'IA dans la diplomatie.
Les moteurs sont des facteurs technologiques, économiques, sociétaux, culturels (etc.) clés qui augmentent la probabilité que le scénario devienne réalité. Les notes de confiance reflètent la probabilité estimée d'un scénario. Un score de 0 indique que le scénario est impossible, un score de 0,5 suggère qu'il a autant de chances de se produire que de ne pas se produire, un score de 1 indique qu'il est certain de se produire.
Scénarios de traduction et d'interprétation
Commentaire de Mucktarr Darboe MY
Scénario 1
Tess Baker, diplomate néerlandaise, est chargée de mener une négociation multilatérale visant à finaliser un accord commercial entre son pays et la Grèce. Pendant la négociation, un grand modèle linguistique (LLM) est utilisé pour traduire la discussion en temps réel. En raison de plusieurs erreurs de traduction et de catégorisation causées par le système, la confusion concernant les stipulations de l'accord se répand dans la salle. Cela entraîne de nouveaux débats et ébranle la confiance des parties prenantes dans le processus.
Conducteurs :
- Langage et terminologie complexes
- Sensibilités contextuelles et socioculturelles
- Limites technologiques (contraintes du système en temps réel)
- Ambiguïté du texte de négociation
- Absence de boucles de rétroaction
Commentaires :
Le scénario de Tess Baker met en évidence les difficultés qui peuvent survenir lors de l'utilisation de LLM pour la traduction en temps réel dans les négociations multilatérales. La complexité de la langue et de la terminologie, le contexte et les nuances culturelles, la pression des contraintes en temps réel et les limites du système sont autant d'obstacles qui contribuent aux erreurs et aux malentendus potentiels. En outre, l'ambiguïté du texte de négociation et l'absence de boucles de rétroaction pour l'amélioration de la traduction ont encore compliqué le processus, entraînant une certaine confusion parmi les parties prenantes. Malgré cela, une prise en compte attentive de ces obstacles et des mesures proactives, telles que l'utilisation de traducteurs formés et la fourniture d'informations contextuelles au système de traduction, permettent d'atténuer les risques associés à la traduction en temps réel à l'aide des MLD.
Note de confiance : 0,75
Scénario 2
Selam Hailu est un jeune traducteur qui travaille à la mission diplomatique du Canada en Éthiopie. Avec une formation en ingénierie logicielle, il supervise le déploiement d'un projet qui utilise les LLM pour la traduction quotidienne de milliers de documents de médias, d'informations et de renseignements éthiopiens pour les notes d'information quotidiennes des diplomates canadiens. Lors des tests, le système a atteint une précision de traduction de 99,5 %. Les membres de l'équipe de Hailu, qui maîtrisent l'amharique, l'oromo, le français et l'anglais, révisent ensuite manuellement les traductions et corrigent les erreurs qu'ils trouvent. Selon une étude de trois mois réalisée par un cabinet d'audit externe, le nouveau flux de travail libère 30 % de temps et de ressources supplémentaires pour l'équipe d'Hailu et augmente la performance globale de la mission.
Conducteurs :
- Expérience en ingénierie logicielle
- Révision manuelle par des membres compétents de l'équipe
- Étude sur les cabinets d'audit externe
- Utilisation de LLM pour la traduction quotidienne
- Amélioration de l'efficacité et de l'affectation des ressources
Commentaires :
La formation et l'expertise de Hailu en matière d'ingénierie logicielle lui permettent de superviser efficacement le projet LLM et d'assurer son intégration transparente dans le flux de travail de la mission. La révision manuelle effectuée par les membres compétents de son équipe ajoute une couche critique de contrôle de la qualité, augmentant ainsi la précision des traductions. La pratique de l'étude par un cabinet d'audit externe fournit une preuve objective de la réussite du projet, ce qui renforce la confiance des parties prenantes. La décision d'utiliser les LLM pour la traduction quotidienne améliore considérablement l'efficacité et la précision, comme le démontre le taux de précision élevé des traductions. Ceci, associé au processus de révision manuelle, se traduit par une augmentation de 30 % du temps et des ressources pour l'équipe de Hailu, ce qui conduit à une amélioration globale de la performance de la mission.
Note de confiance : 0,85
Scénarios de recherche
Commentaire d'Eduardo Albrecht
Scénario 1
Deux pays conviennent d'entamer des négociations nucléaires dans le but de réduire systématiquement leurs stocks. L'un des pays déploie un LLM pour résumer les négociations et accords internationaux antérieurs et pour prédire les résultats possibles des différentes tactiques de négociation proposées. Le modèle a des hallucinations et génère des informations fictives sur les tactiques et leurs relations de cause à effet avec les succès des pourparlers sur la limitation des armes stratégiques (SALT I et II) et les négociations du plan d'action global conjoint (JCPOA). Les tactiques recommandées sont employées, ce qui entraîne l'échec des négociations.
Conducteurs :
- Le biais d'automatisation, c'est-à-dire la tendance à faire davantage confiance aux résultats d'un ordinateur qu'à un jugement humain.
- Utilisation négligente, décousue et désorganisée des LLM au sein du personnel diplomatique
- Mauvaise compréhension de la raison pour laquelle un modèle a besoin d'halluciner pour être efficace
Commentaires :
En ce qui concerne le troisième conducteur, il est important de comprendre que les LLM sont construits dans l'intention expresse d'halluciner. L'idée est qu'ils imitent le comportement et la créativité de l'homme et qu'ils doivent donc avoir une propension à l'imprécision. Plus nous nous rapprocherons de l'intelligence artificielle générale (AGI), plus cela sera évident. Par exemple, nous voulons que l'IA soit capable d'écrire de la poésie. Il nous incombera de l'accepter. Je ne pense pas que ce scénario soit probable, car il existe de nombreux garde-fous avant que cela ne fasse échouer les négociations.
Note de confiance : 0,25
Scénario 2
De nombreux États d'Océanie entament des négociations environnementales dans le but de prévenir la perte de biodiversité. Charlotte Wilson dirige une équipe de recherche chargée d'analyser de grandes quantités de données et de documents politiques sur les populations d'espèces, la perte d'habitat, les modèles climatiques, les changements d'écosystèmes au fil du temps et la législation environnementale. Elle utilise un LLM pour examiner un ensemble de données compilées et inspectées par les membres de son équipe, qui identifie une corrélation précédemment ignorée entre le subventionnement de l'éducation à l'environnement et l'augmentation de la biodiversité régionale. Cette découverte constitue la base d'un nouvel accord centré sur la réforme de l'éducation.
Conducteurs :
- l'émergence d'outils de LLM spécifiques à un domaine, spécialisés dans certains types de domaines de connaissance ; ces outils pourraient provenir de la communauté universitaire et/ou du secteur privé
- La fusion des LLM avec d'autres types de calcul statistique et d'approches de ML qui peuvent analyser des données non textuelles (c'est-à-dire des statistiques sur la biodiversité) parallèlement à des données textuelles.
- Nouvelles interfaces d'IA agentique permettant l'interaction entre des experts non spécialistes des données et des systèmes statistiques complexes
Commentaires :
Pour que cela fonctionne, plusieurs éléments doivent être réunis. Tout d'abord, pour identifier des corrélations significatives, les LLM doivent se perfectionner sur des types spécifiques de connaissance du domaine, c'est-à-dire la compréhension des concepts et des théories dans un domaine spécifique, comme la science du climat dans le cas présent. Deuxièmement, afin d'exploiter les corrélations, les LLM devront être intégrés à d'autres outils qui sont plus performants dans cette tâche et qui s'appuient sur des données numériques structurées pour l'extraction de modèles. Troisièmement, pour être efficaces, les LLM ne seront pas des solutions autonomes, mais pour extraire des corrélations comme celle ci-dessus, ils devront avoir une interface fluide avec les humains, comme le ferait un agent d'intelligence artificielle sur mesure.
Note de confiance : 0,95
Pour en savoir plus sur l'éthique des technologies émergentes, abonnez-vous à la lettre d'information sur l'éthique de Carnegie.
Scénarios d'idéation et de prédiction
Commentaire de Pavlina Ittelson et Sorina Teleanu
Scénario 1
Un gouvernement fédéral accorde une licence à un système d'intelligence artificielle pour simuler les effets économiques des actions politiques. Le modèle est entraîné à partir de données provenant de documents de politique fiscale, de politiques commerciales et tarifaires, de directives sur le marché du travail, de mémoires de R&D et de brevets de propriété intellectuelle. Après avoir effectué son analyse, le système renvoie un scénario dans lequel le renforcement des restrictions aux frontières entraîne une baisse du chômage et une croissance de l'emploi. Une aile chauvine du corps législatif s'appuie sur cette simulation pour promulguer une nouvelle politique d'immigration restrictive quelques semaines avant que l'un des pays voisins ne connaisse une crise des réfugiés. Cette situation provoque le chaos à la frontière et renforce les tensions croissantes entre les États de la région.
Conducteurs :
- Le gouvernement fédéral octroie des licences pour le système d'IA. Le gouvernement fédéral fixe les limites de la conception, de l'utilisation et de la mise en œuvre du système d'IA dans la simulation des effets économiques des actions politiques. Le scénario ne précise pas quels effets économiques des actions politiques doivent être simulés, ni dans quelle mesure les actions politiques doivent être éclairées par les simulations d'IA.
- Système d'IA. Le scénario actuel ne prévoit pas de formation à l'IA pour tous les ensembles de données sur l'emploi, la migration, les compétences disponibles, etc. Le système d'IA ne prend en compte que les indicateurs et les politiques au niveau national. Les informations manquent sur le lien entre l'automatisation et la prédiction, la corrélation entre les restrictions frontalières et l'emploi, et les incidences des politiques transfrontalières.
- L'aile chauvine de l'organe législatif et sa capacité à mettre en œuvre une politique d'immigration restrictive basée sur des simulations d'IA.
Note de confiance : 0,5
Scénario 2
Une multinationale sud-américaine à but non lucratif a utilisé un système d'IA pour prévoir et prédire les tempêtes potentielles et les catastrophes liées au climat. Le système, soutenu par des LLM reprogrammés pour les prévisions de séries temporelles, se réfère aux satellites, aux capteurs météorologiques et aux données d'autres dispositifs de surveillance pour suivre les conditions météorologiques, les précipitations, les températures de surface de la mer, les formations nuageuses, etc. À l'aide d'une analyse prédictive, le modèle émet une prévision très fiable d'inondation dans les régions fortement peuplées et génère une liste de recommandations politiques visant à atténuer l'impact de l'inondation. L'organisation à but non lucratif rédige un rapport à l'intention des autorités locales et informe les responsables qui se mettent d'accord sur la nécessité d'entreprendre des préparatifs. Des ressources collectives sont alors allouées pour faire face à l'augmentation des mouvements transfrontaliers de réfugiés climatiques. Grâce à cet accord, les pertes humaines et matérielles liées à l'événement météorologique sont considérablement réduites.
Conducteurs :
- Association multinationale basée en Amérique du Sud. Il existe une inconnue quant à la manière dont cette association fonctionne au niveau multinational et à ses liens avec le gouvernement local. Les inconnues comprennent les aspects juridiques, culturels et intergouvernementaux du fonctionnement de l'association qui auraient un impact sur l'issue de ce scénario.
- Relations entre le gouvernement et les autres parties prenantes. Le scénario suppose un niveau élevé de confiance entre le gouvernement local et les organisations multinationales à but non lucratif. En outre, il suppose qu'il existe un canal permettant d'intégrer les conclusions des organisations à but non lucratif dans les procédures d'élaboration des politiques, dans la mesure où le gouvernement mettrait en œuvre des changements politiques sur la base des recommandations formulées par les organisations à but non lucratif.
- Allocation et disponibilité des ressources financières et humaines. Le scénario suppose que les ressources financières et autres à allouer à la lutte contre les inondations et les migrations connexes sont disponibles et qu'il existe un accord international global sur la manière dont ces ressources devraient être allouées.
Commentaires :
En supposant que tous les éléments favorables soient en place (confiance, ressources, etc.), notre indice de confiance serait plus proche de 1. L'IA peut certainement faire cette prédiction, et si tous les autres éléments sont en place, alors le scénario est très probable.
Note de confiance : 0,5