Sept mythes sur l'utilisation du terme "humain sur la boucle" : "Qu'est-ce que tu crois faire, Dave ?"

À mesure que les systèmes d'IA sont exploités et mis à l'échelle, des appels sont fréquemment lancés en faveur d'un "contrôle humain significatif" ou d'une "interaction humaine significative dans la boucle". À l'origine, il s'agissait d'un terme technique qui désignait un être humain "dans la boucle" capable d'arrêter les systèmes. L'expression "dans la boucle" ou "à proximité de la boucle" a été cooptée par les décideurs politiques afin d'éloigner encore davantage les êtres humains des systèmes. Nous pensons que la mise en pratique de la notion selon laquelle tout humain dans, sur ou à proximité de la boucle serait capable de superviser des systèmes complexes, en particulier ceux qui intègrent l'IA, pourrait avoir des conséquences potentiellement désastreuses.

En 1983, Stanislav Petrov était l'un de ces "humains dans la boucle" des forces de défense aérienne soviétiques. Son travail consistait à utiliser ses connaissances techniques et son intelligence humaine pour alerter les dirigeants soviétiques si des données confirmaient le lancement d'une arme nucléaire. Lorsque de fausses alertes signalaient à Petrov l'imminence d'une attaque nucléaire, sa compréhension des limites de l'analyse induite par la machine lui permettait d'évaluer un dysfonctionnement et d'arrêter ce qui aurait pu être une catastrophe nucléaire.

Petrov avait 30 minutes pour prendre une décision. Les systèmes automatisés actuels prennent des décisions en quelques millisecondes. La façon dont nous parlons aujourd'hui d'une "interaction humaine significative sur la boucle" en relation avec les systèmes d'IA est problématique, voire fondamentalement erronée, pour les raisons suivantes :

1. 1. Il n'est pas possible d'avoir une "interaction significative" avec les données, les capteurs ou les actionneurs au moment de la collecte et de l'exploitation des données. Qu'est-ce que la boucle ? C'est l'ensemble du système - les capteurs, les actionneurs, les données (pour la plupart historiques, souvent de mauvaise qualité, presque toujours difficiles à interroger), l'apprentissage automatique ou l'IA, les pièces séparément et l'ensemble interopérable. Aucun être humain n'a la capacité de comprendre et de superviser toutes ces parties, et encore moins d'intervenir de manière significative.

   2. Vous ne pouvez pas "interagir de manière significative" avec un code actif. Le codage est une compétence très spécialisée qui requiert des connaissances d'expert. Lorsque le code est intégré dans d'autres systèmes, peu de personnes, voire aucune, sont en mesure d'examiner ces éléments en temps réel (en particulier celles qui disposent d'une habilitation de sécurité). Les compétences nécessaires pour interroger les systèmes sont requises à la fois au moment de la construction et régulièrement tout au long du cycle de vie de ces systèmes, car ils connaîtront inévitablement des défaillances ou des résultats inattendus.

   3. Les gens s'ennuient lorsqu'ils travaillent avec des systèmes autonomes. Les situations dans lesquelles les machines peuvent être autonomes, mais nécessitent une supervision humaine, sont souvent les plus dangereuses. Les humains se déconnectent, s'ennuient ou sont distraits, ce qui a des effets désastreux. Les données de la recherche montrent que les humains ne peuvent pas superviser activement les machines pendant de longues périodes sans que le risque augmente, en particulier lorsque les systèmes sont largement autonomes. Une partie de ce risque est également liée à la pensée magique de Weizenbaum : les humains supposent souvent que les systèmes ne peuvent pas tomber en panne - et pourtant ils le font.
   4. La complexité, la vitesse et l'échelle de nombreux systèmes autonomes, voire automatiques, ne laissent pas le temps de les remettre en question. La vitesse à laquelle les informations sont fournies et les décisions à prendre dans des délais très courts rendent souvent impossible une éventuelle intervention humaine appropriée.
   5. Si "l'interaction humaine significative sur la boucle" est éloignée, les risques sont encore plus grands. Les retards du réseau (dus à des problèmes de bande passante, de temps de latence, de retards cognitifs humains et de pauvreté de l'information - ne pas disposer de toutes les informations nécessaires, dont certaines ne peuvent pas être saisies par des projets automatisés ou autonomes) amplifient les risques existants. Les boîtes noires et le manque de transparence empêchent toute prévisibilité. Même lorsque les risques sont faibles, la vitesse et l'ampleur de l'autonomie peuvent accélérer ou accroître le potentiel de dommages graves.
   6. Le terme "humain" désigne généralement un type d'être humain assez restreint, qui n'est pas représentatif de l'ensemble de l'humanité ou du genre humain. L'humain est souvent le terme le plus négligé dans cette phrase, alors qu'il joue un rôle important. Les êtres humains qui ont accès à ces systèmes et les comprennent constituent un groupe particulièrement étroit, doté d'une vision du monde et d'un ensemble de valeurs particuliers. Ils ne comprennent ni ne représentent nécessairement les personnes affectées par les systèmes automatisés et ne sont pas toujours écoutés face aux impératifs commerciaux. Petrov avait le pouvoir de passer outre le système - quelqu'un d'autre aujourd'hui serait-il capable de faire la même chose ?
   7. Les compétences requises pour comprendre les systèmes adaptatifs complexes disparaîtront avec l'automatisation croissante. Les personnes capables de comprendre et de remettre en question le flux de l'ensemble du système, et notamment de déterminer s'il fonctionne de manière éthique et conformément à des codes de conduite responsables, sont de plus en plus souvent mises à l'écart ou perdent leurs compétences. Les compétences interdisciplinaires ne seront pas faciles à reproduire ou à remplacer à long terme. Les systèmes adaptatifs complexes peuvent parfois fonctionner de manière imprévisible, même pour ceux qui possèdent les compétences adéquates. La probabilité d'événements à faible probabilité et à haut risque (cygne noir) augmentera à mesure que les systèmes automatisés et autonomes seront connectés et mis à l'échelle.

Chaque fois que vous entendez parler d'une "interaction humaine significative (ou d'un contrôle) sur la boucle", remettez en question ce que cela signifie dans le contexte d'un système spécifique. Il serait plus utile de se demander si l'automatisation ou l'autonomie est en fait le bon choix pour le problème posé. L'automatisation est-elle appropriée, conforme à la loi et éthique ? La participation d'experts aux compétences diverses et interdisciplinaires tout au long du développement et du cycle de vie d'une solution et d'un système visant à résoudre un problème aura un impact bien plus important que n'importe quel "humain dans la boucle". Une fois le système activé, le simple fait d'être "dans la boucle" ne permettra presque certainement pas à un être humain de faire une pause, de réfléchir, de s'interroger et d'arrêter la trajectoire de la machine, comme Petrov a pu le faire.

Kobi Leins est chercheur invité au King's College, à Londres ; expert pour Standards Australia, fournissant des conseils techniques à l'Organisation internationale de normalisation sur les normes d'IA à venir ; cofondateur de l'Innovation responsable de l'IA et des sciences de la vie de l'IEEE ; membre non résident de l'Institut des Nations unies pour la recherche sur le désarmement ; et membre du conseil consultatif de l'Initiative Carnegie pour l'intelligence artificielle et l'égalité (AIEI). M. Leins est également l'auteur de New War Technologies and International Law (Cambridge University Press, 2021).

Anja Kaspersen est chargée de recherche à Carnegie Council pour l'éthique dans les affaires internationales. Avec Wendell Wallach, Senior Fellow, elle codirige la Carnegie Artificial Intelligence and Equality Initiative (AIEI), qui cherche à comprendre les innombrables façons dont l'IA a un impact sur l'égalité et, en réponse, à proposer des mécanismes potentiels pour garantir les avantages de l'IA pour tous.