Deus ex machina ou Diabolus ex machina ?

Dans de nombreux films de science-fiction, la résolution de l'intrigue est celle d'un deus ex machina - littéralement, un "dieu dans la machine". Dans ces films, un développement hautement improbable résout un problème apparemment insoluble, conduisant à une fin heureuse, sans réflexion, ni même raison. Tout le monde quitte le film conforté dans l'idée que la technologie a gagné la partie.

Dans les années 1980, le scientifique Josef Weizenbaum a mis en garde contre la"pensée magique" qui entoure la technologie, affirmant que les seules personnes émerveillées étaient celles qui comprenaient mal la technologie. Une grande partie des investissements exorbitants dans l'IA peut être attribuée à la pensée magique. L'année dernière, par exemple, un document du Parlement européen affirmait de manière hyperbolique que"l'IA peut être considérée comme le cinquième élément après l'air, la terre, l'eau et le feu".

Ce type de pensée magique a un coût. À force d'exagérer les possibilités de la technologie, les risques potentiels et les limites de la technologie sont souvent sous-communiqués et mal compris. Un discours honnête et scientifique sur l'IA fait souvent défaut.

En vérité, de nombreuses prétendues "solutions d'IA" ne sont actuellement rien d'autre que de l'huile de serpent et de la poussière de lutin de la part des entreprises. Loin d'être à la pointe de la recherche en matière d'IA, elles consistent simplement à utiliser des ensembles de données plus importants et une plus grande puissance de calcul pour résoudre des problèmes qui pourraient souvent être résolus de manière plus économique et plus efficace par des personnes correctement formées et des investissements dans la culture organisationnelle. En ces temps périlleux, où la stabilité mondiale s'affaiblit et où les points de tension se multiplient, le risque existe que la promesse de ce que nous pouvons accomplir grâce à l'apprentissage automatique et à l'IA l'emporte sur les considérations éthiques liées aux limites connues.

Ces solutions centrées sur les données peuvent être carrément dangereuses lorsqu'elles sont intégrées prématurément dans des fonctions critiques aux côtés d'humains mal préparés à comprendre et à contourner les limites des algorithmes et les problèmes associés aux grands ensembles de données.

Les entreprises riches consacrent d'énormes ressources au solutionnisme technologique, tout comme, du vivant de Mozart, les monarques allemands consacraient d'énormes sommes d'argent aux compositeurs. En conséquence, les compositeurs de cette époque ont été parmi les plus prolifiques en termes de production musicale créative; les investissements des monarques ont contribué à apporter une valeur ajoutée à des générations de mélomanes. Mais l'afflux actuel d'investissements n'est pas destiné à créer quelque chose de beau pour le monde, ni même à résoudre les problèmes de la manière la plus appropriée - il peut s'agir de maintenir les valorisations et les cours boursiers des entreprises technologiques gonflés, malgré les lacunes, les risques et l'incapacité des dirigeants à mettre en œuvre les technologies après des décennies de promesses. Il peut s'agir de soutenir des systèmes de valeurs tels que le "long-termisme" et le "risque existentiel", qui sont eux-mêmes des cadres particuliers donnant la priorité à certaines valeurs et qui sont, encore une fois, controversés et contestés - àjuste titre.

Les entreprises et les institutions privées jouent un rôle de plus en plus important dans la définition de ce qui est toléré comme étant des risques d'IA valables et de la chronologie des problèmes éthiques - un phénomène que l'on a déjà observé dans d'autres domaines, notamment la recherche sur les armes nucléaires et biologiques. Selon la théoricienne politique Emma Saunders-Hastings, ces tentatives peuvent déboucher sur une "inégalité relationnelle" : les personnes les plus touchées sont celles qui ont le moins à dire. "L'altruisme de certaines personnes en soumet d'autres à leur pouvoir", écrit-elle.

On peut soutenir que les philanthropies stratégiques, souvent dirigées par des personnes privées ayant leurs propres visions et objectifs, génèrent des "relations sociales et politiques hiérarchiques potentiellement répréhensibles". De grosses sommes d'argent peuvent définir des questions et des récits. Les paradigmes de risque qui en résultent ne sont pas nécessairement inclusifs ou exhaustifs, et ne permettent pas à ceux qui ont moins de fonds ou de pouvoir de s'exprimer. Mona Sloane, sociologue à l'université de New York et membre du comité consultatif de l'AIEI, et Rumman Chowdhury, directeur de Twitter, parlent de "pièges narratifs" et conseillent aux décideurs d'être "attentifs aux pièges des histoires que nous nous racontons les uns aux autres dans le cadre de notre travail et de notre engagement professionnel sur ces sujets". Ce sont des signes d'alerte ou des sonnettes d'alarme qui devraient se déclencher de temps à autre".

En fait, les particuliers et les institutions philanthropiques improvisées définissent de plus en plus le récit de ce qui constitue des risques, sans que le public ne s'en préoccupe vraiment. Il en résulte un manque de compréhension et de contrôle de l'impact des forces philanthropiques sur la réflexion collective, le champ d'investigation, la réponse des entreprises ou des politiques pour faire face aux points de tension inhérents et aux compromis découlant de l'enracinement de l'IA dans notre vie quotidienne.

Une réorientation stratégique, une redéfinition de l'éthiqueUne réorientation stratégique, une redéfinition de l'éthique et un nouveau cadre de financement sont nécessaires pour interroger des systèmes complexes et puissants afin de permettre une discussion libre et réaliste des risques et des limites, ainsi que des discussions scientifiques franches et sans crainte sur les problèmes que les données et l'IA peuvent ou ne peuvent pas résoudre, et sur les nouveaux problèmes posés par l'utilisation de ces technologies.

Chaque fois que nous voyons ou entendons quelque chose qui ressemble à un deus ex machina, ou une utilisation inexplicable de la technologie qui se résout trop simplement ou trop facilement, nous devons vérifier notre propre "pensée magique". Nous devons revenir à l'essentiel et nous demander quel est le problème que nous essayons de résoudre, comment et si la technologie, ou l'IA, est la meilleure solution, en consultation avec les personnes qui seront affectées par les solutions proposées. Nous devons être conscients des valeurs qui sont représentées et de ceux qui sont servis, et savoir si les problèmes les plus urgents auxquels nous sommes confrontés en tant que société mondiale sont en train d'être résolus.

Un architecte a récemment publié sur Twitter qu'il souhaitait que les gens arrêtent de construire des escaliers transparents parce que "les gens portent des jupes". Si les personnes concernées par les technologies n'ont pas leur mot à dire sur la manière dont elles sont construites, les mêmes problèmes se posent avec les données et l'IA. La diversité au sein des équipes qui construisent les outils et l'examen des impacts potentiels avant l'utilisation et tout au long du cycle de vie sont essentiels. Des risques importants sont négligés. Les produits sont survendus. Les experts se parlent à tort et à travers.

Nous devons parler de pouvoir et nous demander quels sont les intérêts ou les valeurs qui déterminent les "comportements" de la "machine", à chaque fois. Les approches Deus ex machina ne suffisent pas à gérer les risques et à garantir l'égalité aujourd'hui et à l'avenir.

Anja Kaspersen est chargée de recherche à Carnegie Council for Ethics in International Affairs, où elle codirige l'initiative sur l'intelligence artificielle et l'égalité (AIEI).

Kobi Leins est chercheuse invitée au King's College de Londres, experte pour Standards Australia qui fournit des conseils techniques à l'Organisation internationale de normalisation sur les futures normes en matière d'intelligence artificielle, et membre du conseil consultatif de l'AIEI. Elle est l'auteur de New War Technologies and International Law (Cambridge University Press, 2022).