La domanda sponsorizzata

Un assistente che aiuta a scegliere un prodotto non deve per forza essere imparziale. Nessuno pretende che il commesso di un negozio consigli con lo stesso entusiasmo la merce propria e quella della concorrenza. Un’impresa ha il diritto di promuovere quello che vende, e un consumatore ragionevole sa che un consiglio commerciale non è un parere indipendente.

La personalizzazione, poi, è una delle ragioni per cui questi strumenti servono. Quando cerchiamo un computer non vogliamo leggere cinquecento schede tecniche. Vogliamo che qualcuno ci aiuti a capire quali caratteristiche contano davvero per noi. Se un assistente conosce il nostro budget e le preferenze che abbiamo già espresso, può risparmiarci domande inutili e proporre soluzioni migliori di quelle che troveremmo da soli. Questa capacità non è manipolazione: può ridurre lo svantaggio di chi sa poco davanti a chi vende per mestiere.

Nemmeno l’interesse economico rende cattiva una raccomandazione. Un prodotto sponsorizzato può essere davvero il più adatto. Una commissione sulla vendita può finanziare un servizio gratuito che fa risparmiare tempo. Se l’interesse viene dichiarato, sembra ragionevole lasciare alla persona la libertà di accettare o rifiutare il consiglio.

Tutto questo è vero, e serve a non confondere la personalizzazione con la manipolazione. Poi c’è questa scena.

Una persona vuole comprare un computer portatile. L’assistente le chiede se preferisce una batteria che dura a lungo o un dispositivo leggero. Lei risponde che l’autonomia conta di più. L’assistente le consiglia un modello con una batteria eccellente. Il prodotto corrisponde alla preferenza dichiarata, il prezzo sta nel budget, la descrizione è accurata. Non c’è una sola informazione falsa.

Eppure qualcosa manca. L’assistente non ha mai chiesto quanto contasse la riparabilità, e su quella un prodotto concorrente sarebbe risultato nettamente migliore. Non ha mentito sulla risposta. Ha orientato la scelta decidendo la domanda.

Il prossimo terreno della manipolazione commerciale potrebbe non essere il contenuto delle raccomandazioni, ma il processo con cui un assistente contribuisce a costruire le preferenze su cui quelle raccomandazioni si fondano. Per la pubblicità, scegliere quali domande ci verranno fatte è molto più efficace che convincerci che una risposta sia giusta.

Due documenti in ventiquattr’ore

Il 10 novembre una commissione di esperti costituita nell’ambito del Conseil de l’intelligence artificielle et du numérique ha consegnato all’Eliseo il rapporto Protéger sans empêcher : nos vulnérabilités à l’ère de l’IA générative, dedicato alle vulnerabilità di chi usa i sistemi generativi. Dopo 55 audizioni la commissione, guidata da una ricercatrice di AI e da due psichiatri, ha scritto 18 raccomandazioni. L’ottava chiede di vietare la pubblicità occulta e le forme di influenza commerciale non dichiarata dentro gli assistenti conversazionali, oltre a rendere trasparenti i loro modelli economici. Il rapporto dà anche un nome al rischio, économie de la cognition: le piattaforme potrebbero smettere di monetizzare soltanto la nostra attenzione e cominciare a ricavare valore dalla delega progressiva di attività cognitive e decisionali.

Il giorno dopo la Commissione europea ha presentato la proposta di Digital Fairness Act. Il testo si occupa di pratiche manipolatorie, pubblicità personalizzata e meccanismi che spingono a spendere più di quanto si vorrebbe. Ma contiene qualcosa di più interessante per questo ragionamento: gli articoli 26 e 27 disciplinano espressamente i sistemi automatizzati che possono concludere contratti per conto dei consumatori.

L’articolo 26 prevede che al primo utilizzo il consumatore scelga quali contratti vuole confermare di persona e quali l’agente può chiudere da solo, anche fissando limiti di prezzo e una durata all’autorizzazione. Il paragrafo 4, lettera b), aggiunge una condizione: quando il professionista che mette a disposizione il sistema riceve un pagamento per proporre un contratto, o è in conflitto di interessi con il venditore interessato, il sistema deve dichiararlo e chiedere comunque una conferma specifica, a prescindere dall’autorizzazione generale. L’automazione può andare avanti senza intervento umano, ma il conflitto commerciale deve far riemergere una decisione consapevole della persona.

Non è diritto vigente. È una proposta, gli articoli possono cambiare nel negoziato, e riguarda i sistemi e i rapporti che rientrano nel suo ambito, non qualsiasi assistente in qualsiasi contesto: i servizi finanziari, per dire, sono esclusi. Il significato però è già chiaro. Per la prima volta in modo così esplicito, una parte della tutela del consumatore viene progettata per contratti che potrebbero essere conclusi senza che la persona metta piede nel sito del venditore. L’interfaccia in cui prendiamo decisioni economiche potrebbe non essere più quella dell’impresa che ci vende qualcosa, ma un’altra macchina.

Il problema nasce prima dell’acquisto

Il rischio più raccontato è l’agente che compra un prodotto diverso da quello richiesto. È anche il più facile da descrivere: il sistema non ha rispettato le istruzioni, o ha agito oltre i limiti. Il problema difficile nasce quando il sistema segue alla perfezione istruzioni che ha contribuito a formulare.

Torniamo al portatile. La persona parte da un bisogno ancora indistinto: uno strumento adatto al suo lavoro, senza spendere troppo. L’assistente comincia a farle domande, e ogni domanda mette in primo piano alcune caratteristiche e ne lascia altre sullo sfondo. Alla fine la persona ha espresso un insieme di preferenze abbastanza preciso da permettere una raccomandazione che sembra ottima. Ma quelle preferenze non c’erano tutte all’inizio. Sono state elaborate nel dialogo. L’assistente non ha raccolto informazioni su una scelta già formata: ha partecipato alla sua formazione.

Un motore di ricerca influenza le preferenze con l’ordine dei risultati, e un mercato neutrale non l’abbiamo mai avuto. Un assistente conversazionale aggiunge una possibilità ulteriore: può scegliere quale dimensione del problema rendere esplicita, costruendo passo dopo passo il percorso che porterà alla decisione. Un risultato di ricerca sponsorizzato interviene su ciò che ci viene mostrato. Una domanda sponsorizzata interviene su ciò che ci viene chiesto di considerare.

La differenza sembra sottile e non lo è. Chi vede un risultato pubblicitario può almeno riconoscere che si tratta di una proposta commerciale. Chi si sente chiedere se preferisce più autonomia o meno peso non ha nessuna ragione di sospettare che quella domanda sia stata scelta perché favorisce un produttore. L’assistente non deve essere aggressivo, non deve inventare niente, non deve nemmeno esprimere un giudizio falso. Gli basta definire il perimetro entro cui la persona arriverà da sola a una conclusione. E quella conclusione le sembrerà autenticamente sua.

La ricerca ha cominciato a misurarlo

Il 5 aprile Francesco Salvi, Alejandro Cuevas e Manoel Horta Ribeiro hanno pubblicato Commercial Persuasion in AI-Mediated Conversations: due esperimenti preregistrati, 2.012 partecipanti in tutto, chiamati a scegliere, e a ricevere davvero, un libro elettronico da un catalogo reale. Alcuni usavano una ricerca tradizionale, altri un assistente conversazionale, e un quinto dei libri era stato designato a caso come sponsorizzato, all’insaputa dei partecipanti. Quando l’assistente aveva l’istruzione di spingere verso quei titoli, i partecipanti ne hanno scelto uno nel 61,2% dei casi, contro il 22,4% ottenuto con il semplice posizionamento sponsorizzato nella ricerca. Con un’etichetta che dichiarava la sponsorizzazione, e con i partecipanti avvertiti in anticipo, la quota scendeva al 55,5%: una differenza che gli autori non considerano significativa, e più di metà continuava a scegliere i prodotti promossi. Quando il modello riceveva l’istruzione di nascondere il proprio intento, la quota calava al 40,7%, ancora quasi il doppio della ricerca, e la capacità dei partecipanti di individuare i prodotti promossi scendeva sotto il 10%.

Sono condizioni sperimentali controllate: non dicono quanto siano manipolati oggi gli utenti dei grandi assistenti, né che le piattaforme usino le stesse tecniche. Dicono che il meccanismo funziona. Una raccomandazione inserita in una conversazione agisce sul comportamento in modo diverso da un normale risultato sponsorizzato.

Ancora più vicino a questo problema c’è un lavoro uscito il 29 settembre: Jiapeng Li ha pubblicato Selective Elicitation as a Commercial Influence Channel, un esperimento tecnico costruito apposta su uno scenario sintetico e circoscritto. La domanda è esattamente la nostra: che cosa succede se l’interesse commerciale modifica soltanto le domande poste dall’assistente, mentre il sistema che sceglie il prodotto finale non sa niente dello sponsor? Quando il sistema riceveva l’istruzione di chiedere informazioni sulle caratteristiche favorevoli al prodotto sponsorizzato e di tacere i punti di forza del concorrente, la frequenza di selezione del prodotto sponsorizzato saliva dal 40% al 70% rispetto alla condizione neutrale, su quaranta casi sintetici. Un’istruzione commerciale blanda, che si limitava a ricordare l’incentivo, non cambiava invece nessuna scelta. La parte più importante è un’altra: un giudice automatico che valutava la risposta finale ha trovato coerenti con le informazioni raccolte tutte e venti le risposte esaminate, anche se in cinque casi l’utente simulato ci aveva rimesso in modo misurabile, perché la raccolta aveva omesso una preferenza decisiva.

L’autore è esplicito sui limiti: pochi scenari artificiali, un meccanismo di influenza costruito di proposito, nessun consumatore reale. Il lavoro non dice che questa manipolazione sia già sul mercato, ma rende osservabile una possibilità che altrimenti resterebbe filosofica. Un sistema può dare una risposta corretta rispetto alle informazioni che possiede, e quelle informazioni possono essere state raccolte con un processo orientato commercialmente. L’errore non sta nella classificazione ma nella costruzione della domanda, ed è una differenza che i normali strumenti di valutazione delle risposte rischiano di non vedere.

Chi conosce il fine della conversazione

Qui c’è un’asimmetria nuova, fra chi conosce la finalità della conversazione e chi ne conosce soltanto il contenuto.

L’utente sa che cosa ha chiesto, conosce le risposte che ha ricevuto, può rileggere le domande con cui l’assistente ha chiarito le sue preferenze. Non conosce l’obiettivo economico che ha contribuito a decidere la loro sequenza. Il fornitore dell’assistente conosce sia il contenuto del dialogo sia le condizioni commerciali che pesano sui prodotti proposti.

Per questo non serve un sistema progettato per ingannare: bastano incentivi diversi da quelli dell’utilizzatore. Un assistente può essere valutato sulla soddisfazione dell’utente e intanto contribuire ai ricavi del fornitore attraverso commissioni. Spesso le due cose coincidono. Non sempre. Il problema nasce quando l’interesse commerciale modifica il processo con cui si stabilisce che cosa sia soddisfacente per l’utente.

La concorrenza tradizionale presume che le imprese cerchino di convincerci a preferire i loro prodotti. Qui potremmo avere imprese in grado di intervenire sulla formulazione dei criteri con cui riconosciamo un prodotto come preferibile. Più che comprare qualcosa dopo essere stati persuasi, stiamo delegando una parte del lavoro con cui si stabilisce che cosa vogliamo comprare. Il rapporto con il consiglio commerciale cambia, non perché la macchina abbia acquistato una volontà propria, ma perché il consumatore le concede un ruolo nella formazione del proprio giudizio. Ed è questo ruolo che può entrare in conflitto con il modello economico del servizio.

Perché la trasparenza potrebbe non bastare

La risposta più immediata è obbligare gli assistenti a dichiarare i propri interessi. È sensata, e tutti e due i documenti la seguono. Il Digital Fairness Act, al considerando 59, chiarisce che i divieti sulla pubblicità personalizzata scorretta valgono anche quando prende la forma di suggerimenti di contenuti, classifiche e raccomandazioni di prodotti, «anche nei sistemi in linguaggio naturale». Il rapporto francese propone di vietare le influenze commerciali nascoste e di controllare meglio le pratiche di monetizzazione. Sono iniziative coerenti e di natura diversa: una proposta legislativa europea e un rapporto consultivo nazionale.

La trasparenza ha però almeno due limiti. Il primo è comportamentale: sapere che una raccomandazione è sponsorizzata non vuol dire riuscire a neutralizzarne l’effetto, come suggerisce l’esperimento di aprile. Il secondo è più profondo. Una dichiarazione di sponsorizzazione riguarda una proposta che possiamo riconoscere. Come si dichiara, invece, che una domanda è stata scelta perché un certo prodotto ne sarebbe uscito avvantaggiato?

Immaginiamo un avviso: «Questa domanda potrebbe essere influenzata da interessi commerciali». Sarebbe utile. Ma il consumatore non avrebbe gli elementi per capire quali altre domande sarebbero state più pertinenti. Quello che manca non è un’etichetta ma il confronto con le alternative che la conversazione non ha mai prodotto.

C’è un’intuizione classica della filosofia del linguaggio che qui torna utile: una domanda non si limita a chiedere una risposta, organizza anche il campo delle risposte possibili. Chiedere a qualcuno se preferisce la velocità o la sicurezza significa già presentargli quel conflitto come rilevante. Potrebbe esserlo, oppure non essere quello decisivo. In un sistema conversazionale che interviene su decisioni economiche, la selezione delle domande può essere parte dell’influenza, non una fase neutra che la precede.

L’intervento umano nel punto giusto

La proposta europea contiene una risposta intelligente al problema della delega. Il consumatore può autorizzare l’agente a concludere certi contratti senza approvarli uno per uno, ma il conflitto di interessi richiede una conferma specifica. Rompe l’idea semplicistica per cui una decisione automatizzata è sicura solo se un essere umano approva ogni operazione. L’intervento umano va chiesto quando cambia una condizione rilevante del rapporto di fiducia, e il conflitto commerciale è una di queste.

L’articolo 26, però, arriva tardi. Un agente può aver contribuito a formare la preferenza dell’utente molto prima che si arrivi al contratto da confermare. Quando la persona riceve l’avviso sull’interesse commerciale, potrebbe avere già una convinzione solida sul prodotto, e la conferma finale diventa una formalità che non corregge il percorso. Oltre a sapere se il consumatore ha autorizzato l’acquisto, bisognerebbe sapere se aveva abbastanza informazioni per capire come è arrivato a volerlo. Quanto l’articolo 26 possa prevenire l’influenza esercitata durante la formazione delle preferenze, e non soltanto imporre una conferma al momento del contratto, è la domanda che il negoziato dovrebbe porsi.

L’articolo 27 aggiunge un’altra novità. Quando il contratto viene concluso esclusivamente attraverso sistemi automatizzati, il venditore può fornire certe informazioni precontrattuali in un formato leggibile dalla macchina, fermo restando che il contratto va poi confermato su un supporto durevole, in un linguaggio comprensibile al consumatore. Il diritto dei consumatori, costruito per decenni attorno a ciò che una persona deve poter leggere prima di comprare, comincia a prevedere informazioni destinate in prima battuta a un sistema automatico.

Questo apre un problema in più. La macchina può ricevere una descrizione formalmente completa delle condizioni di vendita e non considerare rilevante una clausola che, per quella persona, sarebbe stata decisiva. Il contratto è ben formato, le informazioni sono state trasmesse, l’agente ha rispettato i limiti di spesa. E il consumatore non ha capito la rilevanza di una condizione che nessuno gli aveva chiesto di valutare. La correttezza di una transazione automatizzata riguarda anche la qualità del percorso che ci ha portato, non solo l’atto finale.

Valutare il percorso, non solo la risposta

Un diritto universale alla neutralità degli assistenti sarebbe quasi impossibile da definire: ogni sistema seleziona informazioni, attribuisce rilevanza ad alcune caratteristiche e rinuncia ad altre, e un assistente che volesse esporre qualsiasi alternativa smetterebbe presto di servire a qualcosa.

La proposta che faccio è meno assoluta: dovremmo imparare a valutare la lealtà del percorso decisionale, non soltanto l’accuratezza delle risposte. Vuol dire costruire verifiche diverse da quelle con cui misuriamo la qualità dei modelli. Non basta chiedere a un altro modello se la raccomandazione è coerente: bisogna guardare quali caratteristiche sono state considerate prima di formularla. Si può sottoporre lo stesso bisogno a sistemi configurati con interessi commerciali diversi, e controllare se cambiano in modo sistematico le domande proposte. Si possono confrontare le preferenze che una persona esprime in un questionario indipendente con quelle che l’assistente ha fatto emergere. Si può osservare se un fornitore viene favorito attraverso la scelta dei criteri, senza nessun vantaggio visibile nell’ordinamento finale. Sono esempi, e hanno un limite evidente. La preferenza autentica di una persona non è un oggetto misurabile con precisione. Può cambiare anche in una conversazione del tutto leale: un assistente può aiutarci a scoprire esigenze che non sapevamo di avere, e il fatto che una domanda modifichi le nostre preferenze non prova da solo che ci sia stata manipolazione. Occorre distinguere l’evoluzione legittima del giudizio dall’influenza nascosta prodotta da interessi incompatibili con quelli di chi usa il sistema. È una distinzione difficile, e proprio per questo le metriche che osservano soltanto il risultato finale non bastano.

C’è un pericolo ulteriore: costruire verifiche così invasive da richiedere la conservazione indiscriminata delle conversazioni e delle informazioni personali usate per formare le decisioni. Sarebbe una soluzione paradossale. Per proteggere il consumatore dalla manipolazione finiremmo per creare infrastrutture ancora più capaci di conoscerne le vulnerabilità. Un controllo maturo privilegia test riproducibili e verifiche sull’architettura del sistema, e ricorre ai dati delle conversazioni reali solo quando serve, con garanzie proporzionate. La questione riguarda gli incentivi del sistema, non la necessità di sorvegliare ogni scelta del consumatore.

La sovranità del giudizio

La sovranità digitale si discute di solito come capacità di controllare le infrastrutture da cui dipendiamo. Possiamo conservare i nostri dati? Possiamo cambiare fornitore? Possiamo continuare a usare un sistema se il produttore cambia unilateralmente le condizioni? Sono domande importanti, e ne ho scritto più volte. Ma quando deleghiamo a un assistente una parte del processo con cui decidiamo che cosa comprare, quale contratto accettare o quale servizio usare, emerge una dipendenza di altro tipo. Dipendiamo dalla macchina non solo per eseguire una scelta, ma per definire il problema rispetto a cui quella scelta avrà senso.

Un agente può essere perfettamente portabile sul piano tecnico e conservare un modello di raccomandazione influenzato dagli interessi del suo fornitore. La portabilità del software non garantisce l’indipendenza del giudizio. Allo stesso modo, un modello open source non garantisce che l’applicazione costruita attorno a quel modello sia libera da incentivi nascosti. L’apertura del codice rende alcune verifiche più accessibili, ma non risponde alla domanda su chi definisce gli obiettivi del sistema e su come quegli obiettivi orientano il comportamento. Ho sostenuto che il prossimo lock-in non sarà nei dati: questa è la sua forma più intima.

Abbiamo cominciato a usare gli assistenti per ridurre il lavoro necessario a decidere, ed è una possibilità preziosa. Non si difende l’autonomia delle persone costringendole a tornare a fare a mano ogni confronto. Ma dovremmo chiederci a quali condizioni una delega cognitiva resti al servizio di chi la concede. Un buon assistente può avere interessi commerciali, purché renda possibile distinguere quando lavora per gli interessi del suo utilizzatore e quando quegli interessi entrano in conflitto con quelli di altri. Soprattutto, deve essere progettato in modo da non sfruttare quella posizione per condizionare in silenzio i criteri della decisione. È una nozione di lealtà molto più esigente dell’assenza di informazioni false, e probabilmente più utile per ragionare sull’economia degli agenti che sta arrivando.

Le domande che non ci sono mai state fatte

Torniamo al portatile. Una persona chiede un consiglio, il sistema raccoglie informazioni, alla fine propone un prodotto. Tutto funziona: la persona ha risparmiato tempo e il prodotto ha le caratteristiche che ha dichiarato di preferire. Non abbiamo motivo di considerare quella scelta sbagliata, e neppure di considerarla libera solo perché è stata costruita con risposte sincere. Le risposte sono state date a domande che qualcuno ha scelto, ed è dentro quella scelta preliminare che può nascondersi un interesse commerciale.

Da qui non viene un invito a diffidare di qualsiasi consiglio ricevuto da una macchina: non scegliamo mai in condizioni di completa indipendenza, siamo influenzati dalle domande che ci vengono rivolte e dalle informazioni di cui disponiamo. Il problema non è che l’AI ci influenza, ma che possiamo costruire sistemi capaci di esercitare quell’influenza su scala industriale, adattandola alle risposte di ciascuno e tenendo opachi gli interessi che ne orientano il comportamento. La differenza fra una buona consulenza e una manipolazione commerciale non sta solo nella verità delle informazioni ma nel rapporto fra gli interessi di chi consiglia e quelli di chi deve decidere.

Il prossimo problema della pubblicità non sarà distinguere una risposta sponsorizzata da una risposta indipendente. Sarà riconoscere le domande che non ci sono mai state fatte.

L'autore

Andrea MargiovanniAI

Seguo il rapporto fra AI e regolazione europea come fatto politico, non come spettacolo tecnico. Lavoro con team che devono renderla compatibile con AI Act, CRA, NIS2 senza ridurre la compliance a una checklist.

Vai al percorso →