Ultimo aggiornamento: 2024/04/30 20:15.
Questa è la mia traduzione integrale del saggio AI and Trust di Bruce
Schneier, realizzata e pubblicata con il suo permesso. Una sintesi è
pubblicata nel mio
podcast. È disponibile anche una traduzione in tedesco, pubblicata da
Netzpolitik.org.
L’intelligenza artificiale e la fiducia, di Bruce Schneier
Oggi mi sono fidato molto. Mi sono fidato che il mio telefono mi avrebbe svegliato in tempo. Mi sono fidato che Uber avrebbe predisposto un taxi per me e che il tassista mi avrebbe portato sano e salvo in aeroporto. Mi sono fidato che migliaia di altri conducenti per strada non avrebbero tamponato la mia auto. All’aeroporto mi sono fidato dei controllori al check-in, dei tecnici addetti alla manutenzione, di tutte le altre persone che mantengono operativa una compagnia aerea, del pilota dell’aereo sul quale ho volato, e di migliaia di altre persone in aeroporto e sull’aereo, ciascuna delle quali avrebbe potuto aggredirmi. E mi sono fidato di tutte le persone che mi hanno preparato e servito la colazione, e dell’intera filiera alimentare: qualunque anello di questa catena avrebbe potuto avvelenarmi. Quando sono atterrato qui, mi sono fidato di altre migliaia di persone: in aeroporto, sulla strada, in questo edificio, in questa sala. E tutto questo è avvenuto prima delle 10.30 di stamattina.
La fiducia è essenziale per la società. Gli esseri umani, come specie, tendono a fidarsi gli uni degli altri. Siamo tutti seduti qui, e per la maggior parte non ci conosciamo fra noi, e siamo fiduciosi del fatto che nessuno ci aggredirà. Se questa fosse una sala piena di scimpanzé, questo sarebbe impossibile. Noi ci fidiamo migliaia di volte al giorno. La società non potrebbe funzionare senza la fiducia. E il fatto che non ci facciamo neanche caso è una misura di quanto funzioni bene tutto questo.
In questo mio intervento proporrò numerose argomentazioni. La prima è che esistono due tipi differenti di fiducia, quella interpersonale e quella sociale, e che li confondiamo continuamente. La seconda è che questa confusione aumenterà con l’intelligenza artificiale: commetteremo un errore di categorizzazione fondamentale e penseremo alle intelligenze artificiali come amiche quando sono in realtà solo servizi. La terza è che le aziende che controllano i sistemi di intelligenza artificiale si approfitteranno della nostra confusione per sfruttarci e non saranno degne di fiducia. La quarta è che è compito del governo creare la fiducia nella società e quindi creare un ambiente che consenta una IA degna di fiducia. Questo comporta della regolamentazione: non dell’IA, ma delle organizzazioni che controllano e utilizzano l’IA.
Bene, facciamo un passo indietro e consideriamo tutte queste cose molto più lentamente. La fiducia è un concetto complicato e questa parola è sovraccarica di tanti significati. C’è la fiducia personale e intima. Quando diciamo che ci fidiamo di un amico o di un’amica, è più per com’è quella persona che per le cose specifiche che fa. Confidiamo che si comporterà in maniera degna di fiducia, ci fidiamo delle sue intenzioni e sappiamo che quelle intenzioni ispireranno le sue azioni. Questa possiamo chiamarla “fiducia interpersonale”.
Esiste anche la fiducia meno intima, meno personale. Magari non conosciamo qualcuno di persona oppure non ne conosciamo le motivazioni, ma possiamo fidarci del suo comportamento. Non sappiamo se qualcuno vuole derubarci oppure no, ma forse possiamo fidarci che non lo faranno. È più una questione di affidabilità e prevedibilità. Questa possiamo chiamarla “fiducia sociale”: la capacità di fidarsi degli sconosciuti.
La fiducia interpersonale e quella sociale sono entrambe essenziali nella società attuale. Funziona così: abbiamo meccanismi che inducono le persone a comportarsi in maniera degna di fiducia, sia a livello interpersonale, sia a livello sociale. Questo, a sua volta, permette agli altri di avere e dare fiducia, e questo rende possibile la fiducia nella società, e tutto questo permette alla società di continuare a funzionare. Il sistema non è perfetto: ci saranno sempre persone che abusano della nostra fiducia, ma il fatto che la maggior parte di noi sia degna di fiducia per la maggior parte del tempo è sufficiente.
Ho parlato di questi concetti nel 2012, in un libro intitolato Liars and Outliers, descrivendo quattro sistemi che rendono possibile la fiducia: i nostri valori morali innati, la preoccupazione per le nostre reputazioni, le leggi alle quali siamo soggetti e le tecnologie di sicurezza che vincolano il nostro comportamento. Ho scritto che le prime due sono più informali delle due successive, e che queste due successive sono più scalabili, consentono società più grandi e più complesse e rendono possibile la cooperazione tra sconosciuti.
Quello che non avevo considerato è quanto siano differenti le prime due dalle seconde. I valori morali e la reputazione valgono tra una persona e un’altra, sulla base dei rapporti umani, della reciproca vulnerabilità, sul rispetto, l’integrità, la generosità e molte altre cose, che sono i fondamenti della fiducia interpersonale. Le leggi e le tecnologie di sicurezza sono sistemi di fiducia che ci obbligano a comportarci in modo degno di fiducia, e costituiscono la base della fiducia sociale.
Fare il tassista una volta era uno dei mestieri più pericolosi in questo paese. Uber ha cambiato tutto. Non conosco il mio conducente Uber, ma le regole e la tecnologia danno a me e a lui la fiducia che nessuno di noi cercherà di truffare o attaccare l’altro. Siamo entrambi sotto continua sorveglianza e siamo in competizione per avere punteggi elevati.
Molta gente scrive a proposito della differenza tra vivere in una società che ha un livello di fiducia elevato e vivere in una che ha un livello basso, dicendo che l’affidabilità e la prevedibilità rendono tutto più semplice, e notando cosa si perde quando la società non ha queste caratteristiche. Si parla anche di come le società passano da livelli alti di fiducia a livelli bassi, e viceversa. Tutto questo si basa sulla fiducia sociale.
Questa letteratura è importante, ma per questo mio discorso il punto centrale è che la fiducia sociale è maggiormente scalabile [nel senso di “usabile su scala più ampia”, N.d.T.]. Un tempo serviva avere un rapporto personale con un funzionario di banca per ottenere un prestito. Oggi tutto questo si fa algoritmicamente e ci sono molte più opzioni tra cui scegliere.
La fiducia sociale è maggiormente scalabile ma incorpora ogni sorta di pregiudizio e preconcetto, perché per poter essere scalabile deve essere strutturata, orientata ai sistemi e alle regole, ed è a questo punto che vengono incorporati i pregiudizi. Inoltre il sistema deve essere reso quasi completamente insensibile al contesto, e questo gli toglie flessibilità.
Ma questa scala è fondamentale. Nella società attuale diamo regolarmente fiducia a governi, aziende, organizzazioni o gruppi, oppure ne diffidiamo. Non è che mi sono fidato dello specifico pilota che ha fatto volare il mio aereo; mi sono fidato della compagnia aerea, che mette in cabina di pilotaggio piloti ben addestrati e ben riposati. Non mi fido dei cuochi o camerieri al ristorante, ma semmai del sistema di norme sanitarie al quale sono soggetti. Non sono nemmeno in grado di descrivere il sistema bancario di cui mi sono fidato quando ho usato un Bancomat stamattina. Ancora una volta, questa fiducia non è altro che affidabilità e prevedibilità.
Pensate di nuovo a quel ristorante. Immaginate che sia un fast food che dà lavoro a dei teenager. Il cibo è quasi certamente sicuro – probabilmente più sicuro che in molti ristoranti di alto livello – a causa dei sistemi aziendali o dell’affidabilità e prevedibilità che guida ogni loro comportamento.
È qui che sta la differenza. Potete chiedere a un amico di consegnare un pacchetto dall’altra parte della città, oppure potete chiedere alle Poste di fare la stessa cosa. Nel primo caso si tratta di fiducia interpersonale, basata sulla moralità e sulla reputazione. Conoscete il vostro amico e sapete quanto è affidabile. Nel secondo abbiamo un servizio, reso possibile dalla fiducia sociale. E nella misura in cui è un servizio affidabile e prevedibile, si basa principalmente su leggi e tecnologie. Entrambi i metodi possono consegnare il vostro pacchetto, ma solo il secondo può diventare il sistema di corrieri di portata mondiale che è FedEx.
A causa dell’ampiezza e della complessità della società, abbiamo sostituito molti dei rituali e dei comportamenti tipici della fiducia interpersonale con meccanismi di sicurezza che garantiscono affidabilità e prevedibilità: la fiducia sociale.
Ma poiché usiamo lo stesso termine “fiducia” per entrambi i tipi, li confondiamo regolarmente. E quando lo facciamo, commettiamo un errore di categorizzazione.
Lo facciamo continuamente: con i governi, con le organizzazioni, con i sistemi di tutti i tipi, e soprattutto con le aziende.
Possiamo pensare a loro come amiche, quando in realtà sono servizi. Le aziende non sono morali; sono immorali, nella misura in cui la legge e la loro reputazione gliela fanno passare liscia.
Di conseguenza, le aziende si approfittano regolarmente dei loro clienti, maltrattano i loro lavoratori, inquinano l’ambiente e fanno pressioni per modificare le leggi in modo da poter fare queste cose ancora di più.
Sia il linguaggio che le leggi rendono facile commettere questo errore di categorizzazione. Usiamo la stessa grammatica per le persone e le aziende. Immaginiamo di avere rapporti personali con i marchi. Diamo alle aziende alcuni degli stessi diritti che diamo alle persone.
Alle aziende piace che commettiamo questo errore di categoria—noterete che l’ho appena fatto anch’io [attribuendo un sentimento a un’azienda, N.d.T.]—perché traggono profitto quando pensiamo a loro come amiche. Utilizzano mascotte e testimonial. Hanno account sui social media, e questi account hanno una propria personalità. Si riferiscono a loro stesse come se fossero persone.
Ma non sono nostre amiche: le aziende non sono in grado di avere questo tipo di relazione.
Stiamo per commettere lo stesso errore di categorizzazione con le intelligenze artificiali: le considereremo nostre amiche quando non lo sono.
È stato scritto molto a proposito delle intelligenze artificiali come rischio esistenziale: si teme che avranno un obiettivo e che si impegneranno per raggiungerlo anche se questo dovesse comportare danni per gli esseri umani. Avete forse letto del “massimizzatore di fermagli” [o paperclip maximizer, ne ho parlato in questo articolo, N.d.T.]: una IA che è stata programmata per fabbricare il maggior numero possibile di fermagli e finisce per distruggere la Terra per raggiungere il proprio obiettivo. È una paura strana. Ne scrive l’autore di fantascienza Ted Chiang. Invece di risolvere tutti i problemi dell’umanità, o vagare dimostrando teoremi matematici che non capisce nessuno, l’IA persegue in modo monomaniacale l’obiettivo di massimizzare la produzione. Chiang intende dire che questo è il business plan di qualunque azienda, e che le nostre paure verso l’IA sono in sostanza paure del capitalismo. L’autore di fantascienza Charlie Stross si spinge un passo più in là e chiama le aziende “IA lenta.” SOno macchine per la massimizzazione del profitto, e quelle di maggior successo fanno tutto quello che possono per conseguire quell’unico obiettivo.
E le intelligenze artificiali del prossimo futuro saranno controllate dalle aziende, che le useranno per raggiungere quell’obiettivo di massimizzare il profitto. Non saranno nostre amiche: nel caso migliore saranno servizi utili. Più probabilmente, ci spieranno e cercheranno di manipolarci.
Questa non è una novità. La sorveglianza e la manipolazione sono il modello di business di Internet.
I risultati delle vostre ricerche in Google sono preceduti da URL che qualcuno ha pagato per mostrarvi. I vostri feed di Facebook e Instagram sono pieni di post sponsorizzati. Le ricerche su Amazon restituiscono pagine di prodotti i cui venditori hanno pagato per essere piazzati in quelle pagine.
Questo è il modo in cui funziona Internet. Le aziende ci spiano mentre utilizziamo i loro prodotti e servizi. I broker di dati acquistano i dati di sorveglianza dalle aziende più piccole e creano dossier dettagliati su di noi. Poi rivendono queste informazioni a queste e altre aziende, che le combinano con i dati raccolti da loro per manipolare il nostro comportamento, al servizio dei loro interessi e a spese dei nostri interessi.
Utilizziamo tutti questi servizi come se fossero nostri agenti, che lavorano per noi. In realtà, sono agenti doppiogiochisti, che lavorano segretamente anche per i loro proprietari aziendali. Ci fidiamo di loro, ma non sono degni di fiducia. Non sono amici, sono servizi.
Non sarà diverso con l’intelligenza artificiale, e il risultato, sarà molto peggiore, per due motivi.
Il primo motivo è che questi sistemi di intelligenza artificiale saranno più relazionali. Converseremo con loro, utilizzando il linguaggio naturale. E così attribuiremo loro spontaneamente delle caratteristiche simili a quelle umane.
Questa natura relazionale renderà più facile il lavoro di questi doppiogiochisti. Il vostro chatbot vi ha consigliato una particolare compagnia aerea o un hotel perché è davvero l'offerta migliore, in base alle vostre particolari esigenze, o perché l'azienda di intelligenza artificiale ha ricevuto una tangente da quei fornitori? Quando gli avete chiesto di spiegare una questione politica, ha orientato la sua spiegazione verso la posizione dell'azienda, o del partito politico che le ha dato più soldi? L'interfaccia conversazionale aiuterà a nascondere le loro intenzioni.
Il secondo motivo di preoccupazione è che queste intelligenze artificiali saranno più intime. Una delle promesse dell'intelligenza artificiale generativa è un assistente digitale personale, che agisce come vostro rappresentante verso gli altri e come maggiordomo con voi. Questo richiede un'intimità maggiore rispetto a un motore di ricerca, a un provider di e-mail, a un sistema di archiviazione cloud o a un telefono. Desidererete che questo assistente sia con voi 24 ore su 24, 7 giorni su 7, e che si istruisca costantemente su tutto ciò che fate. Sarete voi a volere che sappia tutto di voi, in modo da poter lavorare nel modo più efficace per vostro conto.
E questo assistente vi aiuterà in molti modi. Noterà i vostri stati d'animo e saprà cosa suggerirvi, anticiperà le vostre esigenze e lavorerà per soddisfarle. Sarà il vostro terapeuta, life coach e consulente relazionale.
Vi verrà spontaneo considerarlo un amico: vi rivolgerete a lui in linguaggio naturale, e lui farà lo stesso con voi. Se è un robot, avrà un aspetto umanoide o almeno simile a un animale. Interagirà con tutta la vostra esistenza, proprio come farebbe un’altra persona.
Il suo uso del linguaggio naturale è decisivo, in questo caso, perché siamo portati automaticamente a pensare agli altri che parlano la nostra lingua come persone, mentre a volte abbiamo problemi a trattare come persone chi parla una lingua diversa dalla nostra. Commettiamo questo errore di categorizzazione con le entità che chiaramente non sono persone, come i personaggi dei cartoni animati. Naturalmente avremo una “teoria della mente” a proposito di qualunque IA con la quale parliamo.
Più specificamente, noi tendiamo a presumere che l’implementazione di una cosa coincida con la sua interfaccia: in altre parole, presumiamo che l’aspetto di superficie rispecchi il contenuto interiore. Gli esseri umani sono fatti così: siamo persone in tutto e per tutto. Un governo è interiormente sistemico e burocratico: quando vi interagite, non lo scambierete per una persona. Ma questo è l’errore di categorizzazione che commettiamo con le aziende. A volte scambiamo l’azienda per il suo portavoce. L’IA ha un’interfaccia pienamente relazionale, perché parla come una persona, eppure ha un’implementazione pienamente sistemica. Come un’azienda, ma molto di più. L’implementazione e l’interfaccia sono di gran lunga più divergenti che in qualunque altra cosa abbiamo mai incontrato.
E vorrete fidarvi di questo assistente, che userà i vostri stessi modi di fare e riferimenti culturali, avrà una voce convincente, un tono sicuro e un modo di fare autorevole. La sua personalità sarà ottimizzata esattamente su ciò che vi piace e a cui reagite.
Si comporterà in modo affidabile, ma non sarà affidabile. Non sapremo come è stata addestrata, quali sono le sue istruzioni segrete o i suoi pregiudizi, accidentali o intenzionali.
Sappiamo però che queste intelligenze artificiali vengono create con costi enormi, per lo più in segreto, da aziende che massimizzano il profitto per il proprio beneficio.
Non è un caso che queste intelligenze artificiali aziendali abbiano un’interfaccia simile a quella umana. Non è inevitabile: è una scelta progettuale. Le si potrebbe progettare per essere meno personali, meno simili all’essere umano, più dichiaratamente dei servizi, come i motori di ricerca. Le aziende che stanno dietro queste intelligenze artificiali vogliono che commettiate l’errore di categorizzazione amico/servizio. Sfrutteranno il fatto che le scambiate per amiche, e potreste non avere altra scelta che usarle.
C’è una cosa che non abbiamo discusso quando si tratta di fiducia: il potere. A volte non abbiamo altra scelta che fidarci di qualcuno o qualcosa perché è potente. Siamo costretti a fidarci della polizia locale, perché è l’unica autorità di polizia in città. Siamo costretti a fidarci di alcune aziende, perché non ci sono alternative valide. Per essere più precisi, non abbiamo scelta se non affidarci a loro. Ci troveremo nella stessa posizione con le intelligenze artificiali: non avremo altra scelta che affidarci ai loro processi decisionali.
La confusione amico/servizio ci aiuterà a mascherare questa disparità di potere. Dimenticheremo quanto sia potente l’azienda che sta dietro l’intelligenza artificiale, perché ci fisseremo sulla “persona” che pensiamo che l’intelligenza artificiale sia.
Fin qui abbiamo parlato di un particolare tipo di fallimento che deriva dalla fiducia eccessiva nell’IA. Possiamo chiamarla per esempio “sfruttamento occulto”, e ce ne sono altri. C'è la frode vera e propria, in cui l’intelligenza artificiale sta effettivamente cercando di rubarvi qualcosa. C'è il più prosaico errore di competenza, in cui pensate che questa intelligenza artificiale sia più esperta di quanto non sia realmente, perché si comporta ostentando sicurezza. C'è l'incompetenza, quando si crede che l’intelligenza artificiale sia in grado di fare qualcosa che non è in grado di fare. C'è l'incoerenza, quando ci si aspetta erroneamente che una intelligenza artificiale sia in grado di ripetere i propri comportamenti. E c'è l'illegalità, quando si confida, erroneamente anche qui, che l'intelligenza artificiale rispetti la legge. Probabilmente ci sono anche altri modi in cui fidarsi di una IA può portare al fallimento.
Tutto questo è un modo prolisso di dire che abbiamo bisogno di un'intelligenza artificiale affidabile, di cui si conoscano il comportamento, i limiti e l’addestramento [training in senso tecnico, N.d.T.], i cui pregiudizi siano compresi e vengano corretti, di cui si capiscano gli obiettivi e che non tradirà segretamente la vostra fiducia a favore di qualcun altro.
Il mercato non fornirà spontaneamente queste cose, perché le aziende massimizzano i profitti, a spese della società. E gli incentivi del capitalismo di sorveglianza sono troppo forti per resistere.
Sono invece i governi a fornire i meccanismi di base per la fiducia sociale, che è essenziale per la società. Pensiamo al diritto contrattuale, alle leggi sulla proprietà, alle leggi che proteggono la vostra sicurezza personale e a tutte le norme di salute e sicurezza che vi permettono di salire su un aereo, mangiare al ristorante o acquistare un farmaco senza preoccupazioni.
Più puoi fidarti che le tue interazioni sociali siano affidabili e prevedibili, più puoi ignorarne i dettagli. I paesi nei quali i governi non forniscono queste cose non sono bei posti dove vivere.
I governi possono fare tutto questo per l’intelligenza artificiale. Abbiamo bisogno di leggi sulla trasparenza dell'intelligenza artificiale: quando viene utilizzata, come viene addestrata, quali pregiudizi e tendenze ha. Ci servono leggi che regolino la sicurezza dell'intelligenza artificiale e della robotica e dicano quando è permesso che l’intelligenza artificiale abbia un impatto sul mondo. Abbiamo bisogno di leggi che impongano l'affidabilità dell'intelligenza artificiale, il che significa la capacità di riconoscere quando queste leggi vengono infrante. E servono sanzioni sufficientemente elevate da incentivare un comportamento affidabile.
Molti Paesi stanno valutando leggi sulla sicurezza delle intelligenze artificiali – l'Unione Europea è la più avanti – ma stanno commettendo un errore cruciale: cercano di regolamentare le intelligenze artificiali e non gli esseri umani che vi stanno dietro.
Le intelligenze artificiali non sono persone: non hanno agentività [nella teoria sociocognitiva, la facoltà di far accadere le cose, di intervenire sulla realtà, di esercitare un potere causale, N.d.T.]. Sono costruite, addestrate e controllate da persone. Principalmente da aziende a scopo di lucro. Qualunque regolamentazione dell’IA deve imporre restrizioni a queste persone e queste aziende, altrimenti le norme commettono lo stesso errore di categorizzazione di cui stavo parlando. In ultima analisi, c’è sempre un essere umano responsabile di qualunque comportamento dell’IA. Ed è quell’essere umano che deve essere responsabile di quello che fa e di quello che fanno le sue aziende, a prescindere dal fatto che sia colpa degli esseri umani, dell’IA, o di una combinazione di entrambi. Forse questo non sarà vero per sempre, ma lo sarà nell’immediato futuro. Se vogliamo un'intelligenza artificiale affidabile, dobbiamo richiedere controllori dell'intelligenza artificiale affidabili.
Abbiamo già un sistema per queste cose: i fiduciari. Ci sono settori della società nei quali l’affidabilità è di importanza vitale, ancora più del solito. Medici, avvocati, commercialisti... sono tutti agenti di fiducia. Hanno bisogno di un accesso straordinario alle nostre informazioni e a noi stessi per svolgere il loro lavoro, e quindi hanno ulteriori responsabilità legali per agire nel nostro migliore interesse. Hanno una responsabilità fiduciaria nei confronti dei loro clienti.
Abbiamo bisogno della stessa cosa per i nostri dati. L'idea di un fiduciario dei dati non è nuova, ma è ancora più vitale in un mondo di assistenti di intelligenza artificiale generativi.
E ci serve un’ultima cosa: dei modelli di intelligenza artificiale pubblici. Sistemi costruiti dal mondo accademico, da gruppi non profit o dal governo stesso, che possono essere posseduti e gestiti dai singoli individui.
Il termine “modello pubblico” è stato usato ampiamente nel mondo dell’IA, per cui vale la pena di spiegare in dettaglio cosa significa. Non si tratta di un modello di intelligenza artificiale aziendale che il pubblico è libero di utilizzare. Non è un modello di intelligenza artificiale aziendale che il governo ha concesso in licenza. Non è nemmeno un modello open source che il pubblico è libero di esaminare e modificare.
Un modello pubblico è un modello costruito dal pubblico per il pubblico. Richiede una responsabilità politica, non solo una responsabilità di mercato [nel senso di “accountability”, ossia l’obbligo di rendere conto del proprio operato, N.d.T.].
Ciò significa apertura e trasparenza, abbinate alla capacità di rispondere alle richieste del pubblico. Dovrebbe anche essere disponibile, quest’intelligenza artificiale, a chiunque per costruirci sopra. Ciò significa accesso universale, e costituisce una base per un libero mercato delle innovazioni nell’intelligenza artificiale. Tutto questo sarebbe un contrappeso all'intelligenza artificiale di proprietà delle aziende.
Non potremo mai trasformare le intelligenze artificiali in nostri amici, ma possiamo trasformarle in servizi degni di fiducia e non doppiogiochisti. Però possiamo farlo solo se il governo lo impone. Possiamo mettere dei limiti al capitalismo della sorveglianza, ma solo se il governo lo impone.
Perché lo scopo del governo è creare fiducia sociale. Ho iniziato questo mio intervento spiegando l’importanza della fiducia nella società e il fatto che la fiducia interpersonale non è scalabile su gruppi più grandi. Quello che creano i governi è l’altro tipo di fiducia: la fiducia sociale, l’affidabilità e la prevedibilità.
Nella misura in cui un governo migliora la fiducia generale nella società, ha successo. E nella misura in cui non lo fa, fallisce.
Ma deve farlo. Abbiamo bisogno che il governo limiti il comportamento delle aziende e delle intelligenze artificiali che le aziende costruiscono, distribuiscono e controllano. Il governo deve imporre sia prevedibilità che affidabilità.
È così che possiamo creare la fiducia sociale di cui la società ha bisogno per prosperare.
