Qui décide Qui décide Quelles conversations sont autorisées sur l'intelligence artificielle ?

David Post a écrit un livre intitulé À la recherche de l'élan de Jefferson : Notes sur l'état du cyberespacedans lequel il pose la question suivante Qui décide qui décide ? Il pose cette question à propos d'Internet, en utilisant le prisme historique de Thomas Jefferson et de la manière dont il utilisait les données. Les personnes clés, selon Post, ne sont pas les décideurs eux-mêmes - ce sont ceux qui décident qui peut décider qui détient le pouvoir ultime. Shoshana Zuboff, auteur de L'ère du capitalisme de surveillanceutilise également ce point de vue pour explorer le pouvoir à l'ère de l'information, en posant les questions suivantes (et en y répondant) : Qui sait ? (les sociétés capitalistes de surveillance) ; Qui décide ? (le marché) ; et Qui décide qui décide ? (les capitalistes de surveillance).

Dans le cadre du développement, de l'utilisation et de l'achat de systèmes d'IA, il est important de s'interroger sur les détenteurs du pouvoir, sur les conversations que nous avons ou que nous n'avons pas, et sur les personnes qui dirigent ces conversations. Qui décide qui sont les décideurs ? Où se trouve le véritable pouvoir dans ces conversations ? Qui dirige et finance les événements très médiatisés qui donnent le ton ?

Comme l'affirme Meredith Whittaker dans son essai "Le coût élevé de la captureles grandes entreprises technologiques déterminent en grande partie les travaux qui sont ou ne sont pas menés sur l'IA, en dominant à la fois le monde universitaire et les divers groupes créés par des organisations internationales ou des gouvernements pour donner des conseils sur les priorités de la recherche en matière d'IA. Une culture s'est développée dans laquelle ceux qui s'élèvent contre les discours dominants risquent d'être privés de financement ou de fermer leurs portes. En 2019, l'équipe de Whittaker a coécrit un article percutant document sur la crise de la diversité à laquelle est confronté l'ensemble de l'écosystème de l'IA, décrivant l'état actuel du domaine comme "alarmant". Whittaker et ses coauteurs de l'AI Now Institute de l'Université de New York ont posé que "l'industrie de l'IA doit reconnaître la gravité de son problème de diversité et admettre que les méthodes existantes n'ont pas réussi à faire face à la répartition inégale du pouvoir et aux moyens par lesquels l'IA peut renforcer cette inégalité."

En 2021, Timnit Gebru, Margaret Mitchell, Emily M. Bender et Angelina McMillan-Major, toutes des universitaires respectées dans leur domaine, ont présenté un article académique remettant en cause l'utilisation de grands ensembles de données pour un certain nombre de raisons, notamment leur impact sur l'environnement, les biais cachés et les coûts d'opportunité liés à la création de modèles pour manipuler le langage. Les idées partagées dans cet article sont depuis devenues la pierre angulaire des travaux dans le domaine de l'IA.

Mais juste avant la publication de cet article, Gebru, l'un des coauteurs, a été brusquement licenciée de son rôle en tant que co-directrice de l'équipe de Google chargée de l'éthique de l'IA, en raison de sa participation à ces travaux et des inquiétudes qu'elle a exprimées quant au fait que Google n'en faisait pas assez pour supprimer les propos tendancieux et haineux de ses données d'entraînement à l'IA. Pour reprendre les mots de Gebru : "Votre vie commence à se dégrader lorsque vous commencez à défendre les personnes sous-représentées. Vous commencez à contrarier les autres dirigeants".

"Il faut du courage pour se lever et dire la vérité", déclare Mary "Missy" Cummings, ancienne professeure d'IA et de robotique à l'université Duke, qui fait autorité en appelant à une réglementation plus stricte des technologies et des véhicules autonomes. Mme Cummings est également une critique virulente des limites de l'apprentissage profond et de la maturité des systèmes d'IA actuels, et elle s'est exprimée sur les risques de harcèlement en ligne qui en découlent. "C'est un luxe pour moi de pouvoir dire la vérité au pouvoir. Tout le monde n'a pas ce luxe."

Ceux qui expriment leurs préoccupations risquent d'être marginalisés et considérés comme hostiles à l'innovation, à la croissance et à l'avenir. Bender, une autre coauteure de l'article susmentionné et une voix forte mettant en garde contre le "battage médiatique sur l'IA et la focalisation excessive sur des problèmes fictifs", a partagé publiquement le fait qu'elle est souvent mal citée ou de voir ses opinions actualisées. La chercheuse et critique en matière d'IA Abeba Birhane a également a également mis en garde contre la croyance en une narration singulière susceptible de faire l'objet d'un battage médiatique qui "n'a pas la capacité d'évaluer la technologie de manière critique"avant d'être importée ou intégrée dans nos vies quotidiennes.

Lorsque les idées, les considérations éthiques et les implications qui changent la vie ne sont pas discutées ouvertement ou que les discussions critiques sont découragées, les technologies ne peuvent pas être remises en question ou modifiées avant, ou même après, leur déploiement. D'aucuns suggèrent que ceux qui ont le plus d'intérêts dans les arrangements sociaux actuels sont en train d'élaborer et de garantir un silence social autour des faiblesses des technologies algorithmiques complexes - désormais intégrées et ancrées dans notre vie quotidienne - et de leur potentiel à causer de graves préjudices. Ces mêmes technologies exacerbent les inégalités, renforcent les structures de pouvoir, peuvent nuire à l'environnement, éroder l'action humaine, saper la stabilité politique et modifier fondamentalement l'ordre mondial.

Il en résulte ce que Gillian Tett appelle un "silence social", une idée empruntée au sociologue Pierre Bourdieu. Tett donne l'exemple de la crise financière de 2007-2008 - en tant que journaliste du Financial Times, elle a été l'une des rares à mettre en garde contre les risques liés aux instruments financiers qui ont finalement provoqué le krach. Les initiés ne discutaient pas ouvertement de ces risques, écrit-elle écrit-ellealors qu'il était difficile pour des personnes extérieures comme elle de rassembler suffisamment d'informations pour "relier les points".

Tett ajoute: "Il est certain qu'en 2006, certains banquiers se sentaient très mal à l'aise par rapport à ce qui se passait (et écrivaient souvent des courriels anonymes à ce sujet à mon équipe)". Nous voyons des parallèles évidents avec l'état actuel du discours sur l'IA. De nombreux initiés qui nous font part de leur malaise en privé ne le feront pas publiquement, car ils craignent d'être réduits au silence, mis à l'écart ou licenciés s'ils s'expriment.

Les données sont souvent comparées au pétrole. L'élément le plus pertinent de cette comparaison est peut-être le parallèle entre les méthodes de communication des entreprises associées. Pendant des décennies, les compagnies pétrolières n'ont pas parlé honnêtement des effets négatifs de l'extraction pétrolière sur l'homme et l'environnement.

Plutôt que de comparer l'IA au pétrole, le parallèle le plus probable est peut-être celui des plastiques. Vénérés dans les années 1950, les microplastiques causent aujourd'hui des dommages généralisés et irréversibles dans les océans et dans nos chaînes alimentaires. Nous n'avons pas des décennies pour réussir l'IA, comme le montrent les effets à long terme des microplastiques et les dommages irréversibles causés à la planète. Les dommages permanents et à long terme peuvent se produire dans le monde réel longtemps après que les algorithmes ont été rendus superflus, mis hors service ou supprimés.

L'éthique de l'IA est un domaine en pleine expansion, qui s'appuie sur une littérature et une expertise abondantes. Cependant, les politiques qui se multiplient ont jusqu'à présent eu peu d'impact, manquant souvent d'analyse de fond et de stratégies de mise en œuvre. Les principales voix du domaine de l'éthique sont trop souvent ignorées ou ne sont pas entendues lors des événements qui définissent le discours. Wendell Wallach, co-auteur de Moral Machines et codirecteur de l'initiative "Artificial Intelligence & Equality" du site Carnegie Council, a récemment fait remarquer : "J'ai réalisé que j'étais intentionnellement exclu d'événements clés pour avoir apporté des perspectives sur ce que faire des choix éthiques implique."

En outre, tout comme les médecins et les avocats sont tenus d'obtenir une licence et d'adhérer à un code de conduite, nous devons exiger des normes pour les informaticiens et les ingénieurs travaillant dans ce domaine, à titre de meilleure pratique. L'informatique et le développement de l'IA ne sont plus simplement une abstraction de mathématiques théoriques n'ayant que peu ou pas d'incidence sur la vie quotidienne. Elles sont devenues un élément déterminant de la vie, avec des répercussions profondes sur ce que cela signifie. signifie l'être humain et sur la manière de préserver l'environnement humain.

En physique fondamentale, CERN crée un environnement sûr pour mener des recherches nucléaires et scientifiques reproductibles en cultivant une culture de la transparence et en encourageant la diversité des points de vue. Une approche similaire dans le domaine de l'IA viserait à renforcer l'intelligence anthropologique et scientifique autour du type de méthodologie informatique nécessaire pour résoudre des problèmes spécifiques. Elle encouragerait une discussion ouverte sur les considérations éthiques liées au déploiement de différents modèles dans différents environnements où ils auront des conséquences très différentes en termes de sécurité, de données et en aval, et encouragerait les voix dissidentes, même si cela peut avoir un impact sur la valorisation des entreprises, les ambitions politiques et les décisions sur le moment où il convient de ne pas intégrer ou déployer de tels systèmes.

Gary Marcus a appelé à la création d'un "CERN pour l'IA" afin de résoudre les problèmes liés à l'évolutivité des itérations actuelles des modèles de fondation de l'IA et de veiller à ce que l'IA devienne un bien public plutôt que la propriété de quelques privilégiés. Co-auteur de Rebooting AI : Building Machines We Can TrustMarcus a également reçu de l'hostilité pour avoir publiquement mis en garde contre le piège des promesses excessives des systèmes d'IA. Il décrit la réticence à s'engager dans un discours scientifique honnête et inclusif sur les limites actuelles comme étant préjudiciable au développement responsable à long terme d'applications sûres de l'IA.

Les conséquences à long terme pour la société sont déjà profondes et largement ressenties - avec des conséquences à plus long terme pour la démocratie et l'égalité que celles de la crise mondiale qui a suivi le silence social de la finance. Les trois questions posées par Zuboff : qui sait, qui décide, et qui décide qui décide, mettent à jour les structures de pouvoir en jeu.

Pour garantir des garanties appropriées, l'égalité ou toute forme d'équité dans l'utilisation de l'IA et des technologies algorithmiques, nous devons créer une culture qui responsabilise les dirigeants et les détenteurs du pouvoir. Les élites ne peuvent pas être les seules à décider qui décide. Des voix diverses doivent être autorisées à s'engager dans un discours critique sur ce qui fonctionne et dans quel but, par qui et pour qui.

Les silences - et la peur des silences - peuvent mettre en évidence des structures de pouvoir ou des angles morts. Et quelle que soit la personne qui décide, les silences, qu'ils soient intentionnels ou non, sont quelque chose que nous devons toujours remettre en question.

Anja Kaspersen est chargée de recherche à Carnegie Council for Ethics in International Affairs, où elle codirige l'initiative "Intelligence artificielle et égalité" (AIEI).

Kobi Leins est chercheuse invitée au King's College de Londres et experte pour Standards Australia, où elle fournit des conseils techniques à l'Organisation internationale de normalisation sur les futures normes en matière d'intelligence artificielle. Elle est également membre du comité consultatif de l'AIEI et auteur de New War Technologies and International Law (Cambridge University Press, 2022)..