Pourquoi faut-il s'inquiéter du marketing en ligne piloté par l'IA ?

Aujourd'hui, nous comprenons tous le compromis qu'implique l'utilisation de l'internet : Nous laissons les entreprises collecter des données sur nous et, en retour, elles nous offrent une expérience utilisateur plus personnalisée. Mais si je vous disais que l'impact à long terme de ce compromis dépasse tout ce que vous pouvez imaginer ?

Tout ce que nous faisons en ligne génère des données, que les sociétés de plateformes collectent et classent soigneusement pour créer des profils numériques. Leurs systèmes d'intelligence artificielle (IA) mettent ensuite en corrélation nos profils numériques avec ceux d'autres utilisateurs pour déterminer ce que nous voyons en ligne : comment nos requêtes de recherche sont interprétées, quels messages sont inclus dans nos flux de médias sociaux, quelles publicités nous sont montrées, etc.

Ce type de microciblage, basé sur le profilage psychologique individuel, exploite ce que Daniel Kahneman, lauréat du prix Nobel d'économie en 2002, a appelé la pensée "rapide", c'est-à-dire les décisions que nous prenons rapidement et sans réflexion consciente, telles que cliquer sur un lien, regarder une autre vidéo, continuer à faire défiler notre timeline ou poser le téléphone. Plus l'IA apprendra à nous connaître, plus elle pourra manipuler habilement nos émotions et nos décisions.

L'application la plus évidente de ce pouvoir est la publicité, qui est à la base de la plupart des modèles commerciaux en ligne. L'argument en faveur de la publicité personnalisée est qu'elle nous aide à éviter la lassitude des décisions en nous présentant les options d'achat les plus pertinentes. Cependant, cela ne nous aide que si nous voulons faire un achat. Souvent, les publicités nous incitent à acheter des choses dont nous n'avons pas besoin ou que nous ne pouvons pas nous permettre, en dépit de notre bon sens.

Pour nous proposer davantage de publicités, les algorithmes doivent d'abord retenir notre attention. Les récents films Netflix Le Grand Hack et Le dilemme social ont exploré les implications de ce phénomène. L'une d'entre elles est que ces algorithmes ont tendance à nous montrer des contenus politiques avec lesquels l'IA pense que nous serons d'accord, plutôt que des points de vue alternatifs qu'il pourrait être intéressant pour nous d'examiner et de prendre en compte.

Cela a pour effet de fracturer les sociétés, en donnant à chacun l'impression que les autres pensent le plus souvent comme lui. Plus insidieusement, le fait de retenir fréquemment notre attention signifie également que l'on nous montre des versions plus extrêmes de points de vue auxquels nous avons tendance à adhérer, ce qui a pour effet de polariser davantage les gens.

En 2016, le scandale Cambridge Analytica a montré de manière célèbre comment les profils Facebook pouvaient être utilisés pour manipuler les penchants politiques des gens en les microciblant avec des informations erronées adaptées à leurs vulnérabilités personnelles. Cette capacité n'a pas disparu : Récemment, Frances Haugen, qui a dénoncé Facebook, a affirmé que l'entreprise continuait à "amplifier sciemment l' agitation politique, la désinformation et la haine". Karen Hao, de la MIT Technology Review, a récemment révélé que les grandes plateformes et les géants de la technologie versaient de grosses sommes d'argent aux exploitants de "pages d'appât à clics", ce qui accentuait encore ces fractures. Comme l'écrit Karen Hao, dans les pays "où Facebook est synonyme d'Internet, le contenu de qualité inférieure a submergé les autres sources d'information".

Travaillant dans le secteur de la publicité depuis suffisamment longtemps pour avoir été le témoin direct de l'impact de la transformation numérique, j'ai pu constater que la direction prise est claire. Nous sommes en train de créer un avenir "clickbait" dans lequel des systèmes d'IA de plus en plus puissants nous manipulent pour nous faire prendre des décisions qui répondent à des désirs et vont souvent à l'encontre de nos besoins réels - des décisions sur la manière de dépenser notre argent et notre temps, et sur ce que nous devons ressentir et penser des autres.

Si cela n'est pas assez dystopique, considérez que d'autres applications de systèmes d'IA utilisent de plus en plus nos données pour prendre des décisions cruciales concernant notre vie, comme le fait d'être ou non convoqué à un entretien d'embauche, de se voir proposer un traitement médical ou d'obtenir un prêt. Nombre de ces applications utilisent des algorithmes de type "boîte noire" qui ne peuvent pas expliquer ou justifier leurs décisions et qui peuvent avoir des préjugés sur des caractéristiques telles que la race ou le sexe.

Un exemple célèbre de 2018 est celui d'un algorithme RH d'Amazon qui s'est avéré proposer moins de femmes pour les entretiens. L'algorithme n'avait pas été programmé pour préférer les candidats masculins ; il avait appris, à partir de ses données d'entraînement, à préférer les candidats dont les caractéristiques prédisaient qu'ils étaient des hommes.

Ces algorithmes ne prennent généralement en compte que les informations que nous leur fournissons - par exemple, un algorithme utilisé dans les ressources humaines examinera le CV d'un candidat à l'emploi, tandis qu'un algorithme utilisé pour prendre des décisions de prêt examinera les formulaires de demande et les antécédents du demandeur en matière de crédit. Mais que se passera-t-il si, à l'avenir, les sociétés de plateforme et les acteurs tiers ont accès à une plus grande partie de notre profil numérique ? Et, en parlant d'un futur métavers, comment pouvons-nous nous assurer qu'il ne s'agit pas simplement d'un univers d'appâts à clics bien sélectionné ?

Imaginez, par exemple, que vous recherchiez les symptômes d'une maladie cardiaque. Plus tard, vous recherchez une assurance maladie. Le système d'IA déduit de vos recherches récentes que vous avez peut-être un problème cardiaque et vous propose donc une prime plus élevée. Imaginons aussi que vous achetiez ou même recherchiez des pilules d'acide folique, puis que vous postuliez à un emploi. L'algorithme conclut, à partir de l'historique de vos achats en ligne, que vous êtes peut-être enceinte ou que vous envisagez de l'être, et recommande donc de ne pas vous convoquer à un entretien d'embauche.

Actuellement, nous supposons que les données personnelles que nous partageons avec une entité - Google, la banque, une compagnie d'assurance - ne seront pas nécessairement partagées avec toutes les autres. Mais il ne faut pas être naïf : toutes les informations que nous partageons sur l'internet peuvent être consultées par des tiers et, en l'absence de réglementation, il est de plus en plus probable que cela se produise. Ces tiers comprennent non seulement d'autres entreprises, mais aussi des pirates informatiques et des gouvernements, qui peuvent utiliser ces informations contre nous d'une manière que nous ne pouvons pas prévoir.

L'échange de données personnelles contre une meilleure expérience en ligne peut sembler simple. Mais le marketing alimenté par l'IA crée des vulnérabilités subtiles et multiples auxquelles, en tant qu'individus et en tant que société, nous sommes mal préparés à faire face.

Volha Litvinets était auparavant chargée de recherche pour l'initiative "Intelligence artificielle et égalité" du site Carnegie Council. Elle est également doctorante à l'université de la Sorbonne (Paris, France), où elle travaille sur l'éthique de l'intelligence artificielle dans le domaine du marketing numérique.Avant de commencer son doctorat, Litvinets a obtenu deux masters en philosophie et en philosophie politique et éthique.