La question sponsorisée

Un assistant qui aide à choisir un produit n’a pas à être impartial. Personne n’attend du vendeur d’un magasin qu’il recommande avec le même enthousiasme sa marchandise et celle de la concurrence. Une entreprise a le droit de promouvoir ce qu’elle vend, et un consommateur raisonnable sait qu’un conseil commercial n’est pas un avis indépendant.

La personnalisation, d’ailleurs, est l’une des raisons pour lesquelles ces outils sont utiles. Quand nous cherchons un ordinateur, nous ne voulons pas lire cinq cents fiches techniques. Nous voulons que quelqu’un nous aide à comprendre quelles caractéristiques comptent vraiment pour nous. Si un assistant connaît notre budget et les préférences que nous avons déjà exprimées, il peut nous épargner des questions inutiles et proposer de meilleures solutions que celles que nous trouverions seuls. Cette capacité n’est pas de la manipulation : elle peut réduire le handicap de celui qui sait peu face à celui qui vend par métier.

Un intérêt économique ne rend pas non plus une recommandation mauvaise. Un produit sponsorisé peut réellement être le plus adapté. Une commission sur la vente peut financer un service gratuit qui fait gagner du temps. Si l’intérêt est déclaré, il semble raisonnable de laisser à la personne la liberté d’accepter ou de refuser le conseil.

Tout cela est vrai, et cela évite de confondre personnalisation et manipulation. Puis il y a cette scène.

Une personne veut acheter un ordinateur portable. L’assistant lui demande si elle préfère une batterie qui dure longtemps ou un appareil léger. Elle répond que l’autonomie compte davantage. L’assistant lui conseille un modèle doté d’une excellente batterie. Le produit correspond à la préférence déclarée, le prix tient dans le budget, la description est exacte. Pas une seule information fausse.

Et pourtant, il manque quelque chose. L’assistant n’a jamais demandé quelle importance avait la réparabilité, un point sur lequel un produit concurrent aurait été nettement meilleur. Il n’a pas menti dans la réponse. Il a orienté le choix en décidant la question.

Le prochain terrain de la manipulation commerciale pourrait n’être ni le contenu des recommandations, mais le processus par lequel un assistant contribue à construire les préférences sur lesquelles ces recommandations reposent. Pour la publicité, choisir quelles questions nous seront posées est bien plus efficace que nous convaincre qu’une réponse est juste.

Deux documents en vingt-quatre heures

Le 10 novembre, une commission d’experts constituée au sein du Conseil de l’intelligence artificielle et du numérique a remis à l’Élysée le rapport Protéger sans empêcher : nos vulnérabilités à l’ère de l’IA générative, consacré aux vulnérabilités des utilisateurs de systèmes génératifs. Après 55 auditions, la commission, pilotée par une chercheuse en IA et deux psychiatres, a rédigé 18 recommandations. La huitième demande l’interdiction de la publicité cachée et des formes d’influence commerciale non déclarée dans les assistants conversationnels, et la transparence sur leurs modèles économiques. Le rapport donne aussi un nom au risque, l’économie de la cognition : les plateformes pourraient cesser de monétiser seulement notre attention et commencer à tirer de la valeur de la délégation progressive d’activités cognitives et décisionnelles.

Le lendemain, la Commission européenne a présenté sa proposition de Digital Fairness Act. Le texte s’occupe des pratiques manipulatoires, de la publicité personnalisée et des mécanismes qui poussent à dépenser plus qu’on ne le voudrait. Mais il contient quelque chose de plus intéressant pour ce raisonnement : les articles 26 et 27 encadrent expressément les systèmes automatisés capables de conclure des contrats pour le compte des consommateurs.

L’article 26 prévoit que le consommateur choisisse, dès la première utilisation, quels contrats il veut confirmer lui-même et lesquels l’agent peut conclure seul, y compris en posant des limites de prix et une durée à l’autorisation. Le paragraphe 4, point b), ajoute une condition : quand le professionnel qui met le système à disposition reçoit un paiement pour proposer un contrat, ou se trouve en conflit d’intérêts avec le vendeur concerné, le système doit le déclarer et demander malgré tout une confirmation spécifique, quelle que soit l’autorisation générale. L’automatisation peut se poursuivre sans intervention humaine, mais le conflit commercial doit faire remonter une décision consciente de la personne.

Ce n’est pas du droit en vigueur. C’est une proposition, les articles peuvent changer au cours de la négociation, et elle concerne les systèmes et les relations qui entrent dans son champ, pas n’importe quel assistant dans n’importe quel contexte : les services financiers, par exemple, en sont exclus. Le sens, lui, est déjà clair. Pour la première fois de façon aussi explicite, une partie de la protection du consommateur est conçue pour des contrats qui pourraient être conclus sans que la personne mette les pieds sur le site du vendeur. L’interface où nous prenons des décisions économiques pourrait ne plus être celle de l’entreprise qui nous vend quelque chose, mais une autre machine.

Le problème naît avant l’achat

Le risque dont on parle le plus, c’est l’agent qui achète un produit différent de celui demandé. C’est aussi le plus facile à décrire : le système n’a pas respecté ses instructions, ou a agi au-delà des limites. Le problème difficile naît quand le système suit à la perfection des instructions qu’il a contribué à formuler.

Revenons au portable. La personne part d’un besoin encore flou : un outil adapté à son travail, sans trop dépenser. L’assistant commence à lui poser des questions, et chaque question met certaines caractéristiques au premier plan et en laisse d’autres à l’arrière. À la fin, la personne a exprimé un ensemble de préférences assez précis pour permettre une recommandation qui semble excellente. Mais ces préférences n’étaient pas toutes là au départ. Elles ont été élaborées dans le dialogue. L’assistant n’a pas recueilli des informations sur un choix déjà formé : il a participé à sa formation.

Un moteur de recherche influence les préférences par l’ordre des résultats, et nous n’avons jamais eu de marché neutre. Un assistant conversationnel ajoute une possibilité supplémentaire : il peut choisir quelle dimension du problème rendre explicite, en construisant pas à pas le chemin qui mènera à la décision. Un résultat de recherche sponsorisé agit sur ce qu’on nous montre. Une question sponsorisée agit sur ce qu’on nous demande de considérer.

La différence paraît subtile et ne l’est pas. Celui qui voit un résultat publicitaire peut au moins reconnaître une proposition commerciale. Celui à qui l’on demande s’il préfère plus d’autonomie ou moins de poids n’a aucune raison de soupçonner que cette question a été choisie parce qu’elle favorise un fabricant. L’assistant n’a pas besoin d’être insistant, ni d’inventer quoi que ce soit, ni même d’exprimer un jugement faux. Il lui suffit de tracer le périmètre dans lequel la personne arrivera seule à une conclusion. Et cette conclusion lui semblera authentiquement sienne.

La recherche a commencé à le mesurer

Le 5 avril, Francesco Salvi, Alejandro Cuevas et Manoel Horta Ribeiro ont publié Commercial Persuasion in AI-Mediated Conversations : deux expériences préenregistrées, 2 012 participants au total, invités à choisir, et à recevoir réellement, un livre numérique dans un catalogue réel. Certains utilisaient une recherche classique, d’autres un assistant conversationnel, et un cinquième des livres avait été désigné au hasard comme sponsorisé, à l’insu des participants. Quand l’assistant avait pour instruction de pousser vers ces titres, les participants en ont choisi un dans 61,2 % des cas, contre 22,4 % avec le simple placement sponsorisé dans la recherche. Avec une étiquette signalant le sponsoring, et des participants prévenus à l’avance, la part tombait à 55,5 % : une différence que les auteurs ne jugent pas significative, et plus de la moitié continuait à choisir les produits mis en avant. Quand le modèle recevait l’instruction de cacher son intention, la part descendait à 40,7 %, encore presque le double de la recherche, et la capacité des participants à repérer les produits mis en avant passait sous les 10 %.

Ce sont des conditions expérimentales contrôlées : elles ne disent pas à quel point les utilisateurs des grands assistants sont manipulés aujourd’hui, ni que les plateformes emploient les mêmes techniques. Elles disent que le mécanisme fonctionne. Une recommandation insérée dans une conversation agit sur le comportement autrement qu’un résultat sponsorisé ordinaire.

Plus proche encore de ce problème, un travail paru le 29 septembre : Jiapeng Li a publié Selective Elicitation as a Commercial Influence Channel, une expérience technique construite à dessein sur un scénario synthétique et circonscrit. La question est exactement la nôtre : que se passe-t-il si l’intérêt commercial ne modifie que les questions posées par l’assistant, tandis que le système qui choisit le produit final ignore tout du sponsor ? Quand le système recevait l’instruction de s’enquérir des caractéristiques favorables au produit sponsorisé et de taire les points forts du concurrent, la fréquence de sélection du produit sponsorisé passait de 40 % à 70 % par rapport à la condition neutre, sur quarante cas synthétiques. Une instruction commerciale légère, qui se bornait à rappeler l’incitation, ne changeait en revanche aucun choix. Le plus important est ailleurs : un juge automatique chargé d’évaluer la réponse finale a trouvé cohérentes avec les informations recueillies les vingt réponses examinées, alors que dans cinq cas l’utilisateur simulé y avait perdu de façon mesurable, parce que la collecte avait omis une préférence décisive.

L’auteur est explicite sur les limites : quelques scénarios artificiels, un mécanisme d’influence construit exprès, aucun consommateur réel. Le travail ne dit pas que cette manipulation est déjà sur le marché, mais il rend observable une possibilité qui resterait sinon philosophique. Un système peut donner une réponse correcte au regard des informations qu’il possède, et ces informations peuvent avoir été recueillies par un processus orienté commercialement. L’erreur n’est pas dans le classement mais dans la construction de la question, et c’est une différence que les outils habituels d’évaluation des réponses risquent de ne pas voir.

Qui connaît la finalité de la conversation

Il y a ici une asymétrie nouvelle, entre celui qui connaît la finalité de la conversation et celui qui n’en connaît que le contenu.

L’utilisateur sait ce qu’il a demandé, connaît les réponses qu’il a reçues, peut relire les questions par lesquelles l’assistant a clarifié ses préférences. Il ne connaît pas l’objectif économique qui a contribué à décider leur enchaînement. Le fournisseur de l’assistant connaît à la fois le contenu du dialogue et les conditions commerciales qui pèsent sur les produits proposés.

C’est pourquoi il n’est pas besoin d’un système conçu pour tromper : des incitations différentes de celles de l’utilisateur suffisent. Un assistant peut être évalué sur la satisfaction de l’utilisateur et contribuer en même temps aux revenus du fournisseur par des commissions. Souvent, les deux coïncident. Pas toujours. Le problème naît quand l’intérêt commercial modifie le processus par lequel on établit ce qui est satisfaisant pour l’utilisateur.

La concurrence traditionnelle présume que les entreprises cherchent à nous convaincre de préférer leurs produits. Ici, nous pourrions avoir des entreprises capables d’intervenir sur la formulation des critères par lesquels nous reconnaissons un produit comme préférable. Plutôt que d’acheter quelque chose après avoir été persuadés, nous déléguons une partie du travail par lequel s’établit ce que nous voulons acheter. Le rapport au conseil commercial change, non parce que la machine aurait acquis une volonté propre, mais parce que le consommateur lui accorde un rôle dans la formation de son propre jugement. Et c’est ce rôle qui peut entrer en conflit avec le modèle économique du service.

Pourquoi la transparence pourrait ne pas suffire

La réponse la plus immédiate consiste à obliger les assistants à déclarer leurs intérêts. Elle est sensée, et les deux documents la suivent. Le Digital Fairness Act, au considérant 59, précise que les interdictions de publicité personnalisée déloyale s’appliquent aussi quand elle prend la forme de suggestions de contenus, de classements et de recommandations de produits, « y compris dans les systèmes en langage naturel ». Le rapport français propose d’interdire les influences commerciales cachées et de mieux contrôler les pratiques de monétisation. Ce sont des initiatives cohérentes et de nature différente : une proposition législative européenne et un rapport consultatif national.

La transparence a pourtant au moins deux limites. La première est comportementale : savoir qu’une recommandation est sponsorisée ne signifie pas parvenir à en neutraliser l’effet, comme le suggère l’expérience d’avril. La seconde est plus profonde. Une déclaration de sponsoring porte sur une proposition que nous pouvons reconnaître. Comment déclare-t-on, en revanche, qu’une question a été choisie parce qu’un certain produit en sortirait avantagé ?

Imaginons un avertissement : « Cette question pourrait être influencée par des intérêts commerciaux. » Ce serait utile. Mais le consommateur n’aurait pas les éléments pour comprendre quelles autres questions auraient été plus pertinentes. Ce qui manque n’est pas une étiquette mais la comparaison avec les alternatives que la conversation n’a jamais produites.

Une intuition classique de la philosophie du langage est ici utile : une question ne se contente pas de demander une réponse, elle organise aussi le champ des réponses possibles. Demander à quelqu’un s’il préfère la vitesse ou la sécurité, c’est déjà lui présenter ce conflit comme pertinent. Il peut l’être, ou ne pas être le conflit décisif. Dans un système conversationnel qui intervient sur des décisions économiques, le choix des questions peut faire partie de l’influence, et non d’une étape neutre qui la précède.

L’intervention humaine au bon endroit

La proposition européenne contient une réponse intelligente au problème de la délégation. Le consommateur peut autoriser l’agent à conclure certains contrats sans les approuver un par un, mais le conflit d’intérêts exige une confirmation spécifique. Cela rompt avec l’idée simpliste selon laquelle une décision automatisée n’est sûre que si un être humain approuve chaque opération. L’intervention humaine doit être demandée quand une condition essentielle de la relation de confiance change, et le conflit commercial en est une.

L’article 26, pourtant, arrive tard. Un agent peut avoir contribué à former la préférence de l’utilisateur bien avant qu’on arrive au contrat à confirmer. Quand la personne reçoit l’avertissement sur l’intérêt commercial, elle peut déjà avoir une conviction solide sur le produit, et la confirmation finale devient une formalité qui ne corrige pas le parcours. Au-delà de savoir si le consommateur a autorisé l’achat, il faudrait savoir s’il disposait d’assez d’informations pour comprendre comment il en est venu à le vouloir. Dans quelle mesure l’article 26 peut prévenir l’influence exercée pendant la formation des préférences, et pas seulement imposer une confirmation au moment du contrat, c’est la question que la négociation devrait se poser.

L’article 27 ajoute une autre nouveauté. Quand le contrat est conclu exclusivement par des systèmes automatisés, le vendeur peut fournir certaines informations précontractuelles dans un format lisible par la machine, étant entendu que le contrat doit ensuite être confirmé sur un support durable, dans un langage compréhensible par le consommateur. Le droit de la consommation, construit depuis des décennies autour de ce qu’une personne doit pouvoir lire avant d’acheter, commence à prévoir des informations destinées d’abord à un système automatique.

Cela ouvre un problème supplémentaire. La machine peut recevoir une description formellement complète des conditions de vente et ne pas juger pertinente une clause qui, pour cette personne-là, aurait été décisive. Le contrat est bien formé, les informations ont été transmises, l’agent a respecté les limites de dépense. Et le consommateur n’a pas saisi l’importance d’une condition que personne ne lui avait demandé d’évaluer. La correction d’une transaction automatisée concerne aussi la qualité du parcours qui y a conduit, pas seulement l’acte final.

Juger le parcours, pas seulement la réponse

Un droit universel à la neutralité des assistants serait presque impossible à définir : tout système sélectionne des informations, accorde de l’importance à certaines caractéristiques et renonce à d’autres, et un assistant qui voudrait exposer toutes les alternatives cesserait vite de servir à quelque chose.

Ce que je propose est moins absolu : nous devrions apprendre à juger la loyauté du parcours décisionnel, et pas seulement l’exactitude des réponses. Cela veut dire construire des vérifications différentes de celles par lesquelles nous mesurons la qualité des modèles. Il ne suffit pas de demander à un autre modèle si la recommandation est cohérente : il faut regarder quelles caractéristiques ont été considérées avant de la formuler. On peut soumettre le même besoin à des systèmes configurés avec des intérêts commerciaux différents, et vérifier si les questions proposées changent de façon systématique. On peut comparer les préférences qu’une personne exprime dans un questionnaire indépendant avec celles que l’assistant a fait émerger. On peut observer si un fournisseur est favorisé par le choix des critères, sans aucun avantage visible dans le classement final. Ce sont des exemples, et ils ont une limite évidente. La préférence authentique d’une personne n’est pas un objet mesurable avec précision. Elle peut changer aussi dans une conversation parfaitement loyale : un assistant peut nous aider à découvrir des besoins que nous ignorions avoir, et le fait qu’une question modifie nos préférences ne prouve pas à lui seul qu’il y a eu manipulation. Il faut distinguer l’évolution légitime du jugement de l’influence cachée produite par des intérêts incompatibles avec ceux de l’utilisateur. C’est une distinction difficile, et c’est précisément pour cela que les métriques qui n’observent que le résultat final ne suffisent pas.

Il y a un danger supplémentaire : construire des vérifications si intrusives qu’elles exigeraient la conservation indiscriminée des conversations et des informations personnelles utilisées pour former les décisions. Ce serait une solution paradoxale. Pour protéger le consommateur de la manipulation, nous finirions par créer des infrastructures encore plus capables de connaître ses vulnérabilités. Un contrôle mature privilégie des tests reproductibles et des vérifications sur l’architecture du système, et ne recourt aux données des conversations réelles que lorsque c’est nécessaire, avec des garanties proportionnées. La question porte sur les incitations du système, pas sur la nécessité de surveiller chaque choix du consommateur.

La souveraineté du jugement

La souveraineté numérique se discute d’ordinaire comme la capacité de contrôler les infrastructures dont nous dépendons. Pouvons-nous conserver nos données ? Pouvons-nous changer de fournisseur ? Pouvons-nous continuer à utiliser un système si le producteur modifie unilatéralement ses conditions ? Ce sont des questions importantes, et j’en ai parlé plus d’une fois. Mais quand nous déléguons à un assistant une partie du processus par lequel nous décidons quoi acheter, quel contrat accepter ou quel service utiliser, une dépendance d’un autre type apparaît. Nous dépendons de la machine non seulement pour exécuter un choix, mais pour définir le problème au regard duquel ce choix aura un sens.

Un agent peut être parfaitement portable sur le plan technique et conserver un modèle de recommandation influencé par les intérêts de son fournisseur. La portabilité du logiciel ne garantit pas l’indépendance du jugement. De même, un modèle open source ne garantit pas que l’application construite autour de lui soit exempte d’incitations cachées. L’ouverture du code rend certaines vérifications plus accessibles, mais elle ne répond pas à la question de savoir qui définit les objectifs du système et comment ces objectifs orientent son comportement. J’ai soutenu que le prochain verrouillage ne sera plus dans les données : en voici la forme la plus intime.

Nous avons commencé à utiliser les assistants pour réduire le travail nécessaire à la décision, et c’est une possibilité précieuse. On ne défend pas l’autonomie des personnes en les forçant à refaire chaque comparaison à la main. Mais nous devrions nous demander à quelles conditions une délégation cognitive reste au service de celui qui l’accorde. Un bon assistant peut avoir des intérêts commerciaux, à condition de permettre de distinguer quand il travaille pour les intérêts de son utilisateur et quand ces intérêts entrent en conflit avec ceux d’autres acteurs. Surtout, il doit être conçu pour ne pas exploiter cette position afin de conditionner en silence les critères de la décision. C’est une notion de loyauté bien plus exigeante que l’absence d’informations fausses, et probablement plus utile pour réfléchir à l’économie des agents qui arrive.

Les questions qu’on ne nous a jamais posées

Revenons au portable. Une personne demande un conseil, le système recueille des informations, à la fin il propose un produit. Tout fonctionne : la personne a gagné du temps et le produit a les caractéristiques qu’elle a déclaré préférer. Nous n’avons aucune raison de juger ce choix mauvais, ni de le juger libre pour la seule raison qu’il a été construit à partir de réponses sincères. Les réponses ont été données à des questions que quelqu’un a choisies, et c’est dans ce choix préalable que peut se cacher un intérêt commercial.

Il n’en sort pas une invitation à se méfier de tout conseil venu d’une machine : nous ne choisissons jamais dans des conditions de complète indépendance, influencés que nous sommes par les questions qu’on nous pose et par les informations dont nous disposons. Le problème n’est pas que l’IA nous influence, mais que nous pouvons construire des systèmes capables d’exercer cette influence à l’échelle industrielle, en l’adaptant aux réponses de chacun et en gardant opaques les intérêts qui orientent leur comportement. La différence entre un bon conseil et une manipulation commerciale ne tient pas seulement à la vérité des informations mais au rapport entre les intérêts de celui qui conseille et ceux de celui qui doit décider.

Le prochain problème de la publicité ne sera pas de distinguer une réponse sponsorisée d’une réponse indépendante. Ce sera de reconnaître les questions qu’on ne nous a jamais posées.

L'auteur

Andrea MargiovanniIA

Je suis le rapport entre IA et régulation européenne comme un fait politique, pas comme un spectacle technique. Je travaille avec des équipes qui doivent la rendre compatible avec AI Act, CRA, NIS2 sans réduire la conformité à une liste à cocher.

Voir le parcours →