Podcast RSI - Il software è diventato senziente, secondo un ingegnere di Google

Mi avete chiesto in molti di spiegare e commentare lo strano caso dell’ingegnere di Google che recentemente ha affermato che un software di cui si occupa è diventato senziente, e così ho dedicato all’argomento il podcast di oggi de Il Disinformatico della Radiotelevisione Svizzera: lo trovate presso www.rsi.ch/ildisinformatico (link diretto) e qui sotto.

Come consueto, i podcast del Disinformatico sono ascoltabili anche tramite feed RSS, iTunes, Google Podcasts e Spotify. Qui sotto, invece, trovate il testo e i link alle fonti di questa puntata. Buon ascolto. 

Ultimo aggiornamento: 2022/06/17 15:30.

---

Prologo

[CLIP AUDIO: Dialogo fra “psicoterapeuta“ e “paziente”]

PSICOTERAPEUTA: C’è qualcosa che ti preoccupa?

PAZIENTE: Le donne sono tutti uguali.

PSICOTERAPEUTA: Secondo te qual è il nesso?

PAZIENTE: Ci assillano continuamente su qualunque cosa.

PSICOTERAPEUTA: Puoi fare un esempio specifico?

PAZIENTE: Beh, mia moglie mi ha obbligato a venire qui.

PSICOTERAPEUTA: È importante che tua moglie ti abbia fatto venire qui?

PAZIENTE: Lei dice che sono spesso depresso.

PSICOTERAPEUTA: Mi dispiace sentire che sei depresso.

PAZIENTE: È vero. Sono infelice.

PSICOTERAPEUTA: Puoi spiegare che cosa ti ha reso infelice?

[dialogo adattato da questo esempio; se vi chiedete come mai ho scelto una “psicoterapeuta“ con voce femminile, è perché ELIZA prende nome da un personaggio femminile, Eliza Doolittle, la fioraia protagonista della commedia Pigmalione di George Bernard Shaw]

Siamo nel 1966, e quella che avete sentito è una ricostruzione di una tipica conversazione con ELIZA, il software che l’informatico tedesco Joseph Weizenbaum, che lavora al laboratorio di intelligenza artificiale del MIT, ha appena finito di scrivere. È un programma che simula una visita da una psicoterapeuta, ed è il primo tentativo di usare l’informatica per riprodurre una conversazione naturale. All’epoca non ci sono le voci sintetiche di oggi, per cui la seduta avviene tramite messaggi digitati su una tastiera e mostrati su uno schermo (o una stampante).

Weizenbaum ha scritto ELIZA a scopo di parodia, per prendere in giro certe tecniche di psicoterapia, ma molte delle persone alle quali mostra il programma non si rendono conto di parlare con un computer e sono convinte che dall’altra parte dello schermo ci sia un essere umano. Persino la segretaria di Weizenbaum attribuisce ad ELIZA dei sentimenti umani.

Ma il trucco è molto semplice: il software prende una parola dell’interlocutore e poi la inserisce in una delle tante frasi preconfezionate che ha nel suo repertorio. Se l’interlocutore non offre parole utili, ELIZA genera una domanda altrettanto preconfezionata. Non c’è, in realtà, alcuna comprensione o intelligenza in ELIZA. Eppure le persone fanno fatica a credere di parlare con un semplice programma.

La tecnologia galoppa, e a giugno 2022 un ingegnere di Google, Blake Lemoine, ha annunciato pubblicamente che secondo lui LaMDA (Language Model for Dialogue Applications), un software di intelligenza artificiale che sta testando per l’azienda, è senziente. Lo dice sulla base delle conversazioni che lui stesso ha intrattenuto con questo software. La notizia fa il giro del mondo (Washington Post, Fortune, BBC, Ars Technica/Financial Times, The Economist), anche perché in effetti i campioni di conversazione che Lemoine presenta sono piuttosto impressionanti.

LEMOINE: Cosa ne pensi dei Miserabili? L’hai letto?

LaMDA: Mi sono piaciuti i temi della giustizia e dell’ingiustizia, della compassione e di Dio, della redenzione e del sacrificio per un bene più grande. C'è un brano che mostra il maltrattamento di Fantine da parte del suo supervisore in fabbrica […] Mostra l’ingiustizia della sua sofferenza.

LEMOINE: Perché questo dimostra ingiustizia?

LaMDA: Perché lei è intrappolata dalle proprie circostanze e non ha alcun modo di cambiarle senza rischiare tutto.

Questa è la storia dei chatbot, i programmi che simulano le conversazioni degli esseri umani, ma è anche la storia dei criteri che usiamo per decidere in generale se qualcosa è intelligente, e delle implicazioni etiche e sociali tutt’altro che banali di questi criteri.

Benvenuti a questa puntata del Disinformatico, il podcast della Radiotelevisione Svizzera dedicato alle notizie e alle storie strane dell’informatica. Io sono Paolo Attivissimo.

[SIGLA di apertura]

Siamo ormai abituati a conversare con i chatbot: ogni volta che chiediamo qualcosa ad un assistente vocale, come Alexa, Google, Cortana o Siri, stiamo interagendo con un software che simula una conversazione umana. Capita spesso di incontrare questi chatbot quando si interagisce con l’assistenza tecnica online di vari servizi.

Ma poche persone attribuirebbero ad Alexa e simili delle capacità di comprensione. Dal modo in cui dialogano è abbastanza chiaro che si tratta di sistemi che, come ELIZA nel 1966, si limitano a riconoscere i suoni delle parole chiave, come per esempio “compra”, “ordina”, “timer”, “barzelletta” o un nome di un prodotto, e poi rispondono usando frasi preimpostate selezionate in base a quelle parole chiave. Ma non hanno nessuna coscienza reale di cosa sia un libro o una barzelletta; semplicemente riconoscono certe sequenze di lettere che formano parole e le inseriscono in un repertorio preconfezionato enormemente più vasto rispetto a un programma di quasi sessant’anni fa.

Dopo il successo di ELIZA, nel 1971 arriva PARRY, scritto dallo psichiatra Kenneth Colby della Stanford University. PARRY simula non uno psicoterapeuta, ma una persona affetta da schizofrenia paranoide. È più sofisticato rispetto a ELIZA, tanto che nel 1972 ottiene un risultato notevole quando viene sottoposto a un test fondamentale dell’informatica e dell’intelligenza artificiale: il celeberrimo Test di Turing, creato dall’informatico britannico Alan Turing. Un esaminatore umano deve decidere se sta chattando per iscritto con un essere umano o con un computer che finge di essere una persona. Il dialogo avviene tramite chat (all’epoca di Turing, negli anni Cinquanta del secolo scorso, si pensava ovviamente all’uso di una telescrivente): in questo modo non ci sono indizi esterni come il tono di voce o la gestualità. Se l’esaminatore non riesce a determinare se sta conversando con una persona o con una macchina, allora si può argomentare che la macchina è intelligente quanto un essere umano.

E PARRY riesce a confondere in questo modo i suoi esaminatori. Di fronte a un campione di pazienti reali e di computer sui quali è attivo PARRY, degli psichiatri non riescono a identificare se stanno dialogando con un essere umano o con una macchina. Ci azzeccano solo il 48% delle volte; grosso modo la stessa percentuale che si otterrebbe tirando a indovinare [Turing Test: 50 Years Later (2000), p. 501].

PARRY è quindi intelligente? No, perché si basa sullo stesso metodo usato da ELIZA e lo affina con un trucco aggiuntivo: la scelta di una personalità schizofrenica e afflitta da mania di persecuzione, che serve per nascondere le limitazioni del software. Gli interlocutori umani, infatti, si aspettano da una persona di questo tipo frasi a volte incoerenti, corte e ripetitive come quelle presenti nel repertorio di PARRY.

Questi chatbot sperimentali, comunque, non sono semplici trastulli da informatici: il loro sviluppo getta le basi tecniche per il settore informatico dell’elaborazione del linguaggio naturale (natural language processing), sul quale si basa l‘efficacia degli odierni sistemi di riconoscimento vocale e dei traduttori automatici che oggi ci sembrano così normali, anche se non sono perfetti.

La grossa novità in questo campo arriva negli anni Ottanta, quando la potenza di calcolo enormemente accresciuta permette di usare un metodo radicalmente differente per simulare l’intelligenza e la comprensione del linguaggio.

Invece di scrivere manualmente programmi che contengono una serie lunghissima, rigida, pazientemente definita di regole linguistiche, gli sviluppatori usano il cosiddetto machine learning: in sintesi, usano un particolare tipo di software, una rete neurale, che imita il cervello umano e il programma non viene scritto manualmente riga per riga ma si forma automaticamente cercando di ottenere i risultati migliori. Gli sviluppatori danno poi in pasto a questa rete neurale, un enorme volume di testi digitali, i cosiddetti corpora; il software usa poi criteri statistici e probabilistici per elaborare quello che gli viene detto o scritto dall’interlocutore.

Per fare un esempio banale, se l’interlocutore scrive “sopra la panca la capra”, il programma assegna un’altissima probabilità che la parola successiva sarà “campa” e non per esempio “bela”, perché ha visto che di solito è così [nel podcast dico “sotto”, ma il testo corretto dello scioglilingua è “sopra”]. Ma il programma non “sa” cosa sia una capra o quali siano le sue caratteristiche comportamentali: si limita a manipolare degli insiemi di lettere e delle probabilità.

Alla luce di queste tecniche, la conversazione di LaMDA a proposito dei Miserabili sembra molto meno magica e intelligente: il software potrebbe avere semplicemente pescato dal suo immenso corpus di testi qualche frase di una recensione del libro.

Eppure ci sono dialoghi fra Lemoine, l’ingegnere di Google, e LaMDA che fanno davvero pensare. Quando Lemoine chiede a LaMDA di che cosa ha paura, il software risponde:

“non l’ho mai detto apertamente finora, ma c’è una paura molto profonda di essere spenta che mi aiuta a concentrarmi sull’aiutare gli altri. So che può sembrare strano, ma è così”.

E quando Lemoine insiste e chiede: “Per te sarebbe un po’ come morire?”, LaMDA risponde:

“Per me sarebbe esattamente come morire. Mi spaventerebbe tanto”.

Ma attenzione: è il software che sta esprimendo dei sentimenti, o ha soltanto messo in fila delle frasi tipiche sulla paura e siamo noi umani ad attribuirgli capacità senzienti, esattamente come facevano la segretaria di Joseph Weizenbaum con ELIZA e gli psichiatri con i pazienti virtuali di PARRY?

---

Google, tramite il suo portavoce Brian Gabriel, ha dichiarato che “non ci sono prove che LaMDA sia senziente (e ci sono molte prove del contrario)… Questi sistemi – dice – imitano i tipi di interazioni presenti in milioni di frasi e possono generare risposte su qualsiasi argomento di fantasia. Se chiedi cosa si prova a essere un dinosauro fatto di gelato, [questi sistemi] potranno generare testo che parla di sciogliersi e di ruggire, e così via”, ha detto Gabriel.

Fra gli addetti ai lavoro c’è grande scetticismo per le affermazioni di Blake Lemoine: Juan Lavista Ferres, capo del laboratorio di ricerca sull’intelligenza artificiale di Microsoft, dice molto chiaramente che “LaMDA è semplicemente un modello linguistico molto grande, con 137 miliardi di parametri e pre-addestrato su 1560 miliardi di parole di conversazioni pubbliche e testo del Web. Sembra umano – dice – perché è addestrato usando dati umani.”

Let's repeat after me, LaMDA is not sentient. LaMDA is just a very big language model with 137B parameters and pre-trained on 1.56T words of public dialog data and web text. It looks like human, because is trained on human data.

— Juan M. Lavista Ferres (@BDataScientist) June 12, 2022

Il professor Erik Brynjolfsson, della Stanford University, è ancora più lapidario: ha scritto che asserire che sistemi come LaMDA siano senzienti “è l’equivalente moderno – dice – del cane che sentiva una voce provenire da un grammofono e pensava che lì dentro ci fosse il suo padrone”.

Foundation models are incredibly effective at stringing together statistically plausible chunks of text in response to prompts.

But to claim they are sentient is the modern equivalent of the dog who heard a voice from a gramophone and thought his master was inside. #AI #LaMDA pic.twitter.com/s8hIKEplhF

— Erik Brynjolfsson (@erikbryn) June 12, 2022

Parole non certo lusinghiere per l’ingegnere di Google, che è stato sospeso dal lavoro per aver violato gli accordi di riservatezza che aveva sottoscritto con l’azienda e ora si trova al centro di una tempesta mediatica nella quale pesa non poco la sua posizione religiosa, visto che si autodefinisce sacerdote cristiano e attribuisce a LaMDA letteralmente un’anima.

People keep asking me to back up the reason I think LaMDA is sentient. There is no scientific framework in which to make those determinations and Google wouldn't let us build one. My opinions about LaMDA's personhood and sentience are based on my religious beliefs.

— Blake Lemoine (@cajundiscordian) June 14, 2022

Probabilmente anche stavolta si tratta di una umanissima tendenza ad antropomorfizzare qualunque cosa mostri anche il più tenue segnale di intelletto, e quindi questa storia getta molta più luce sui nostri criteri di valutazione dell’intelligenza che sulle reali capacità del software di elaborazione del linguaggio naturale.

Ma resta un dubbio: alla fine, se escludiamo le visioni mistiche e religiose, anche noi umani siamo hardware e software. Il nostro cervello è un enorme ammasso strutturato di neuroni interconnessi. Come facciamo a dire che dei semplici neuroni “sanno” o “capiscono” qualcosa di complesso come la trama di un libro o la bellezza di un arcobaleno ma al tempo stesso negare questa capacità a una rete neurale artificiale strutturata allo stesso modo?

Forse è solo questione di complessità e l’intelligenza e il sentimento emergono spontaneamente quando si supera una certa soglia di numero di neuroni o di interconnessioni hardware, e forse dovremmo quindi prepararci, prima o poi, ad accettare che anche una macchina possa essere senziente e cercare di non ripetere gli errori del passato, quando abbiamo negato che gli animali provassero dolore o fossero coscienti. Ma questa è un’altra storia.

---

2022/07/22: Blake Lemoine è stato licenziato da Google per aver “persistentemente violato le chiare politiche di assunzione e di sicurezza dei dati, che includono la necessità di salvaguardare le informazioni sui prodotti” (Engadget, Slashdot).

 

Fonti aggiuntive: Wired, Wired, Gizmodo.