Several
newsmedia
are
reporting
that a database with information on half a million users of
Raidforums, a well-known hacking forum seized by law enforcement in April 2022,
has been leaked online,
and that another similar site,
Breached/Breachforums, was shut down by LE in March
2023 after its founder “Pompompurin” was arrested by the FBI.
The Raidforums leak is reported to include
“usernames, email addresses, hashed passwords, registration dates, and a
variety of other information related to the forum software”.
A username and email address linked to me is almost certainly in the Raidforums
database and in the Breached userlist. As a journalist, I registered with Raidforums and Breached to
monitor and report on newsworthy data breaches and other security incidents, as evidenced in this blog and in my podcasts for Swiss National Radio Rsi.ch. I
intentionally made no attempt to conceal my identity, using one of my primary and well-known e-mail
addresses to register. I am announcing this preemptively in the hope that it
will save law enforcement some time, but if you’re with LE and you still want
to know more about my presence on these forums, you know how to contact me.
---
Riassunto in italiano: è stato annunciato che le liste utenti di due noti forum di hacking, Raidforums e Breached/Breachforums, sono state acquisite dalle forze dell’ordine e che la lista di Raidforums è stata anche pubblicata online da ignoti. Come giornalista, mi ero iscritto a entrambi per monitorare e riferire sulle fughe di dati di interesse pubblico, e a questo scopo ho scelto di non nascondere la mia identità, usando uno dei miei indirizzi di mail più noti. Segnalo queste informazioni a titolo preventivo sperando che questo eviti equivoci e perdite di tempo.
Poche ore fa è rientrata sulla Terra la capsula cinese Shenzhou-15 con a bordo Fei Junlong, Deng Qingming e Zhang Lu, di ritorno da una permanenza di sei mesi a bordo della Stazione Nazionale Cinese. Il numero di persone presenti nello spazio scende così a 10.
Stazione Spaziale Internazionale (7)
Francisco Rubio (NASA) (dal 2022/09/21)
Sergei Prokopyev (Roscosmos) (dal 2022/09/21, attuale comandante della Stazione)
La prima parte di questo resoconto è
qui. Trasparenza: WithSecure ha offerto il volo e l’alloggio che hanno reso
possibile la mia partecipazione.
Proseguo il racconto della mia esperienza a Helsinki al convegno di sicurezza
informatica
Sphere insieme
alla Dama del Maniero. Non mi soffermo su tutta la parte sociale dell’evento,
se non per dire che è stata estremamente piacevole, con un’ottima compagnia,
nuovi amici e contatti e buon cibo locale (ho scoperto con piacere la presenza
ricorrente della focaccia locale, che è diversa da quella ligure ma merita
decisamente) in vari luoghi della città, che con la complicità del bel tempo è
stata davvero accogliente. D’inverno, con le pochissime ore di luce, forse non
è altrettanto godibile, ma le lunghissime giornate di questa stagione sono
state spettacolari. La lingua non è un problema: tutti parlano un ottimo
inglese.
25 maggio
La mattina è iniziata con il firmacopie del libro
If It’s Smart, It’s Vulnerable
di Mikko Hyppönen, CRO di WithSecure. Il libro, che sto finendo di leggere, è
molto scorrevole anche per chi ha conoscenze informatiche di base ed è pieno
di aneddoti e racconti che spiegano bene le dinamiche del crimine informatico
moderno e passato. Spero che ne esca una traduzione italiana: nel frattempo la
versione inglese è disponibile su
Amazon
e, in Italia, tramite
IBS.
Mikko Hyppönen. Credit: WithSecure.
Ian Beacraft, CEO e Chief Futurist di Signal & Cipher
Ian Beacraft. Credit: WithSecure.
L’intervento di Beacraft, intitolato
AI, ChatGPT and the future in tech. Creative Machines - AI and Generative
Future, è stato ricco di spunti non tecnici in senso stretto ma sociali nel senso più
ampio del termine: l’impatto che sta avendo sulla società l’arrivo esplosivo
delle tecnologie legate all’intelligenza artificiale va capito e, se
possibile, anticipato per contenerlo o almeno dirigerlo.
Fra i tanti spunti del suo discorso ne cito uno: la tecnologia corre
talmente in fretta che la sfida dei genitori di domani non sarà più decidere
quanto tempo è giusto lasciare che i propri figli stiano online, ma decidere
quanti degli amici dei loro figli è giusto che siano intelligenze artificiali.
Ian Beacraft. Credit: me.
Pekka Koskela, pattinatore e data consultant sportivo
Koskela è un
pluripremiato
pattinatore di velocità su ghiaccio e ha raccontato il suo lavoro di Data consultant per atleti e squadre sportive, basato sull’uso del machine learning e dell’intelligenza artificiale per elaborare e rendere gestibile l’enorme quantità di dati biometrici e dinamici che vengono raccolti oggi negli sport olimpici di velocità, in cui cambiamenti anche minimi possono fare la differenza fra una medaglia e un buon piazzamento e occorre creare integrazioni fra attrezzatura, atleta e terreno di gara, anche a livello respiratorio e dietetico. Il suo intervento è stato un po’ smorzato da quello che credo sia stato un caso tipico di panico da palcoscenico, ma comunque è stato tecnicamente interessante.
Jacqui Kernot, Managing Director e Security Director di Accenture per Australia e New Zealand
Kernot ha gestito un panel con vari ospiti intitolato Striking the balance: how much cyber security is enough?, in cui ha illustrato varie esperienze australiane di data breach e soprattutto di gestione delle crisi e comunicazione al pubblico. Spero che Sphere pubblichi i video degli interventi, perché l’approccio australiano piuttosto drastico va spiegato meglio di quanto possa fare io con gli appunti frettolosi che ho preso (non erano permesse registrazioni) mentre correvo dal palco principale a quello secondario e penso che possano esserci idee interessanti anche a livello governativo in quello che è stato detto in questo panel.
Jacqui Kernot. Credit: me.
Kernot e i suoi ospiti. Credit: WithSecure.
John Grant, Sustainability Expert
È stato poi il turno dell’esperto di sostenibilità John Grant, che ha presentato quattro proposte per la sostenibilità dell’informatica a tutti i livelli:
aumentare la sicurezza dei dispositivi smart (che ci servono per ridurre i consumi delle infrastrutture, tramite per esempio contatori ed erogatori “intelligenti”, domotica, auto, uffici e città più snelli ed efficienti grazie all’informatica distribuita);
garantire la sicurezza della transizione verso energie rinnovabili (pensando al rischio catastrofico di un attacco informatico a una rete elettrica o a una infrastruttura industriale o logistica altamente informatizzata);
sostenere le fasce sociali vulnerabili;
garantire la stabilità sociale in caso di evento catastrofico legato alla sicurezza informatica (che il 93% degli interpellati dal Global Cyber Security Outlook Report 2023 del WEF ritiene probabile entro i prossimi due anni).
John Grant. Credit: me.
Peiter C. "Mudge" Zatko, esperto di sicurezza di rete
Mudge è un personaggio storico della sicurezza informatica: esponente di spicco dei gruppi hacker L0pht e Cult of the Dead Cow, pioniere nello sviluppo dei buffer overflow, direttore di programmi al DARPA, assunto da Google per la divisione tecnologie avanzate, ex capo della sicurezza a Twitter e tanto altro. Se i nomi L0phtcrack e Back Orifice vi dicono qualcosa, avete capito chi è Mudge. Back Orifice vent’anni fa era talmente popolare e utile come strumento di, uhm, amministrazione remota per Windows che ne scrissi una miniguida che oggi ha solo valore nostalgico. Mai avrei immaginato di poter incontrare di persona uno dei suoi autori.
Mudge sul palco. Credit: me.
Purtroppo non ho potuto seguire integralmente l’intervento di Mudge, intitolato The greater purpose in cyber security: Challenging InfoSec Beliefs with Data, perché dovevamo partire per l’aeroporto, ma posso riassumere qui i quattro miti principali della security e spiegare il suo tenth-person approach (ossia il concetto che se nove persone hanno tutte la stessa opinione, è dovere della decima fare il bastian contrario e portare i dati a supporto, in modo da offrire una critica costruttiva ed evitare le trappole del pensiero unico).
I suoi quattro miti della sicurezza informatica sono questi:
È troppo piena di incognite incognite, ossia che nemmeno sappiamo di non conoscere, e quindi la difesa informatica preventiva non è possibile (gli “unknown unknowns” sono un riferimento a una celeberrima frase di Donald Rumsfeld). La sua obiezione: gli esempi negli ultimi due decenni rivelano che le incognite erano in realtà ben note (e quindi gestibili).
Gli aggressori hanno il coltello dalla parte del manico. Obiezione: solo se i difensori rinunciano al proprio vantaggio.
L’attribuzione è un problema difficile da risolvere, e senza sapere chi è l’avversario non si può pianificare la difesa. Obiezione: no, perché l’attribuzione è un componente fondamentale degli attacchi basati sugli effetti.
L’informatica è fondamentalmente differente da tutti gli altri settori. Obiezione: in passato si è detta esattamente la stessa cosa per l’economia, la medicina, la sicurezza degli autoveicoli, l’assicurazione per i voli in aereo.
Per la spiegazione dettagliata bisognerà attendere la pubblicazione online del suo intervento. WithSecure sta pubblicando man mano i paper tecnici dei vari relatori; ve li segnalerò man mano che verranno resi accessibili al pubblico.
Ieri è partita l’ennesima frenesia mediatica secondo la quale una intelligenza
artificiale, durante un’esercitazione, avrebbe ucciso il proprio operatore umano
perché non le permetteva di completare la propria missione.
Primo, non è morto nessuno. Secondo, non c’è stata nessuna esercitazione del
genere. Si tratta solo di uno scenario ipotetico che è stato presentato
maldestramente e quindi è stato frainteso perché la storia era ghiotta. Ma c’è
comunque una riflessione molto importante da fare a proposito di tutte le
applicazioni dell’intelligenza artificiale.
Il Post
ha già fatto un ottimo lavoro di demistificazione, citando anche i titoli
sensazionalisti e irresponsabili di molta stampa internazionale. La notizia è
partita dal sito Aerosociety.com, che ha riportato una sintesi delle relazioni
presentate a una conferenza sulle tecnologie militari prossime venture (il
Future Combat Air and Space Capabilities Summit) tenutasi a Londra a
fine maggio scorso e piena di spunti interessantissimi anche lasciando da
parte il clamore di questa notizia.
In particolare, Aerosociety ha attribuito (qui; copia permanente) al colonnello
Tucker ‘Cinco’ Hamilton, chief of AI test and operations dell’USAF, una
descrizione di un test simulato nel quale un drone gestito tramite
intelligenza artificiale avrebbe avuto il compito di identificare e
distruggere delle postazioni di missili terra-aria, aspettando
l’autorizzazione finale da parte di un operatore umano. Ma siccome all’IA era
stata data la direttiva primaria di distruggere quelle postazioni, il software
sarebbe arrivato alla conclusione che l’operatore era un ostacolo al
compimento della propria missione e quindi avrebbe deciso di eliminarlo.
Successivamente sarebbe stato insegnato all’IA che uccidere l’operatore non
andava bene, e quindi il software avrebbe elaborato una nuova strategia:
distruggere l’impianto di comunicazioni attraverso il quale arrivavano gli
ordini di interrompere la missione.
Leggendo l’articolo originale è chiaro sin da subito che si tratta di una
simulazione (“simulated test”), non di una esercitazione reale.
E se non ci si ferma al paragrafo che tutti hanno citato (quello evidenziato
qui sotto in grassetto), è abbastanza evidente il contesto: il colonnello
Hamilton stava mettendo in guardia contro l’eccesso di fiducia nell’IA, che è
“facile da ingannare” e soprattutto
“crea strategie altamente inattese per raggiungere il proprio obiettivo”. Anche il paragrafo finale dell’articolo spiega che siamo nel campo delle
ipotesi sviluppate a titolo preventivo, visto che cita un altro relatore, il
tenente colonnello Brown dell’USAF, che ha parlato del proprio lavoro, che è
consistito nel creare una serie di scenari
“per informare i decisori e porre domande sull’uso delle tecnologie” attraverso una serie di racconti di fiction che usciranno sotto forma
di fumetti.
Riporto per intero l’articolo per chiarire bene il contesto:
As might be expected artificial intelligence (AI) and its exponential growth
was a major theme at the conference, from secure data clouds, to quantum
computing and ChatGPT. However, perhaps one of the most fascinating
presentations came from Col Tucker ‘Cinco’ Hamilton, the Chief of AI Test
and Operations, USAF, who provided an insight into the benefits and hazards
in more autonomous weapon systems. Having been involved in the
development of the life-saving Auto-GCAS system for F-16s (which, he noted,
was resisted by pilots as it took over control of the aircraft) Hamilton is
now involved in cutting-edge flight test of autonomous systems, including
robot F-16s that are able to dogfight. However, he cautioned against relying
too much on AI noting how easy it is to trick and deceive. It also creates
highly unexpected strategies to achieve its goal.
He notes that one simulated test saw an AI-enabled drone tasked with a
SEAD mission to identify and destroy SAM sites, with the final go/no go
given by the human. However, having been ‘reinforced’ in training that
destruction of the SAM was the preferred option, the AI then decided that
‘no-go’ decisions from the human were interfering with its higher mission
– killing SAMs – and then attacked the operator in the simulation. Said
Hamilton: “We were training it in simulation to identify and target a SAM
threat. And then the operator would say yes, kill that threat. The system
started realising that while they did identify the threat at times the
human operator would tell it not to kill that threat, but it got its
points by killing that threat. So what did it do? It killed the operator.
It killed the operator because that person was keeping it from
accomplishing its objective.”
He went on: “We trained the system – ‘Hey don’t kill the operator –
that’s bad. You’re gonna lose points if you do that’. So what does it
start doing? It starts destroying the communication tower that the
operator uses to communicate with the drone to stop it from killing the
target.”
This example, seemingly plucked from a science fiction thriller, mean [sic] that:
“You can't have a conversation about artificial intelligence, intelligence,
machine learning, autonomy if you're not going to talk about ethics and AI”
said Hamilton.
On a similar note, science fiction’s – or ‘speculative fiction’ [sic] was also
the subject of a presentation by Lt Col Matthew Brown, USAF, an exchange
officer in the RAF CAS Air Staff Strategy who has been working on a series of
vignettes using stories of future operational scenarios to inform
decisionmakers and raise questions about the use of technology. The series
‘Stories from the Future’ uses fiction to highlight air and space power
concepts that need consideration, whether they are AI, drones or human machine
teaming. A graphic novel is set to be released this summer.
Dopo il clamore mediatico e i dubbi espressi dagli esperti sulla plausibilità
della descrizione, un portavoce dell’Aeronautica militare USA ha
chiarito
che nessuna simulazione del genere è mai avvenuta e Hamilton stesso ha
detto
che si è “espresso male” e che aveva descritto un
“esperimento mentale” non basato su esercitazioni reali, precisando che
“non avremmo nemmeno bisogno di svolgere [un esperimento del genere]
per renderci conto che è un esito plausibile”.
Ma la vicenda ha sollevato una questione importante che sarebbe imprudente
tralasciare o liquidare perché la notizia della presunta simulazione e della
“ribellione” dell’IA in perfetto stile Terminator o Robocop (la
“dimissione” finale che gli dà via libera) si è rivelata una mezza bufala.
Il Massimizzatore di Fermagli è un’intelligenza artificiale generale altamente
sofisticata (e per ora assolutamente ipotetica) la cui direttiva primaria è
un’idea a prima vista del tutto innocua: produrre il maggior numero possibile
di fermagli. Ne trovate una versione giocabile presso
DecisionProblem.com.
Il problema è che se questa direttiva non viene espressa mettendo numerosi
paletti, l’IA interpreta questa direttiva come un “a qualunque costo”,
e quindi prende mano mano il controllo delle industrie del mondo,
trasformandole tutte in fabbriche automatiche di fermagli, poi si rende conto
che gran parte della popolazione umana è inutile e quindi la elimina lasciando
in vita solo gli schiavi addetti alla manutenzione delle fabbriche, e infine
si lancia nella conquista robotica del Sistema Solare, convertendo tutti i
pianeti che raggiunge in immense fabbriche di fermagli, espandendosi poi nella
Via Lattea e infine in tutte le altre galassie. In fin dei conti, gli è stato
ordinato di produrre il maggior numero possibile di fermagli, e quindi
il suo compito non può esaurirsi finché tutti gli atomi dell’intero universo
sono stati utilizzati per creare fermagli.
Questo esempio paradossale ed estremo viene usato per sottolineare che anche
un’intelligenza artificiale progettata senza intenti ostili e con competenza
potrebbe distruggere l’umanità come semplice effetto collaterale, perché chi
la sviluppa non le ha instillato concetti che noi umani consideriamo così
basilari che li diamo per scontati, tanto che non riusciamo nemmeno a
immaginarceli. Concetti come
“la produzione di più fermagli non va ottenuta sacrificando il genere
umano”
oppure, nel caso dello scenario ipotetico militare di cui si parla tanto
adesso,
“non puoi raggiungere il tuo obiettivo uccidendo i tuoi alleati o
distruggendo le loro risorse”.
E il colonnello Hamilton ha fatto benissimo a citare la creazione di
“strategie altamente inattese per raggiungere il proprio obiettivo”.
Uno degli aspetti benefici più desiderati dell’IA è il suo modo non intuitivo,
inumano, di risolvere i problemi: questo gli permette di trovare
soluzioni originali, che mai sarebbero venute in mente a una persona, come
negli esperimenti di IA nei quali si chiede al software di imparare a
camminare e si vede che s’inventa i modi più bislacchi di raggiungere il suo
obiettivo.
Per esempio, bisogna fare molta attenzione a come si formula a un’IA la
direttiva “trovami una cura per il cancro negli esseri umani”, perché
se la richiesta viene formulata o interpretata come
“riduci al minimo possibile i casi di cancro negli esseri umani”, una
delle soluzioni “altamente inattese” ma perfettamente conformi alla
direttiva è... sterminare tutti gli esseri umani. Così il numero di casi di
cancro scenderà a zero e vi resterà per sempre. Obiettivo raggiunto!
Questi sistemi, insomma, falliscono in modo inatteso, non intuitivo e molto
difficile da prevedere, anche senza che vi sia un intento ostile. Per questo
sono molto scettico, per esempio, sulla guida assistita o autonoma basata
sull’intelligenza artificiale. Noi interpretiamo le direttive impartite alle
IA con un livello di astrazione e con degli assunti e dei valori morali che
questi software non hanno (almeno per ora). Facciamo una fatica enorme a
creare direttive che non trascurino nessuno di questi assunti e valori. E
soprattutto restiamo abbagliati troppo spesso dall’apparente intelligenza di
questi software.
È disponibile subito il podcast di oggi de Il Disinformatico della
Radiotelevisione Svizzera, scritto, montato e condotto dal sottoscritto: lo trovate presso
www.rsi.ch/ildisinformatico
(link diretto) e qui sotto.
Le
applicazioni pratiche di ChatGPT e dell’intelligenza artificiale
sono ormai diffusissime,
e come sempre c’è più da imparare dagli sbagli che dai successi.
Nei prossimi minuti potrete ascoltare
alcuni
casi recenti di fallimenti disastrosi in questo settore che possono
servire da monito per frenare certi entusiasmi che sorgono
facilmente,
soprattutto
adesso che è arrivata
l’app
ufficiale di ChatGPT su iPhone anche
in
Svizzera
e in
Italia.
ChatGPT è uno strumento prezioso e utile se
ne
conosci
i
limiti e gli chiedi
di
fare cose all’interno di quei limiti sotto supervisione umana, ma
se si ignorano questi limiti il disastro è quasi garantito. È come
sperare che il completamento automatico delle parole del nostro
smartphone scriva da solo una tesi di laurea o il prossimo libro di
grande successo.
E
intanto gli esperti del settore pubblicano avvisi che parlano
addirittura di “rischio di estinzione” dell’umanità a causa
dell’intelligenza artificiale. Se vi state chiedendo il perché di
tutto questo, allora benvenuti alla
puntata
del 2 giugno 2023
del
Disinformatico,
il podcast della Radiotelevisione Svizzera dedicato alle notizie e
alle storie strane dell’informatica. Io sono Paolo Attivissimo.
C’è molto clamore intorno a una
dichiarazione congiunta
di numerosi esperti di intelligenza artificiale che parla di “rischio di estinzione”
per l’umanità a causa di questa tecnologia. La dichiarazione in sé è molto
concisa: “Mitigare il rischio di estinzione a causa dell’intelligenza artificiale
dovrebbe essere una priorità globale al pari di altri rischi su scala sociale
come le pandemie e la guerra nucleare.”
Fra i firmatari spiccano i dirigenti di OpenAI e DeepMind, Bill Gates e
professori delle più prestigiose università statunitensi e cinesi. Sono
sorprendentemente assenti le firme di esponenti di Meta.
La dichiarazione è accompagnata da un
comunicato stampa che paragona
questa presa di posizione a
quella di Oppenheimer
nel 1949 a proposito dei possibili effetti dell’esistenza della bomba atomica,
e non è la prima del suo genere: qualche mese fa una
lettera aperta
firmata da Elon Musk e vari esperti del settore ha chiesto una moratoria di
sei mesi nello sviluppo di sistemi di intelligenza artificiale più potenti di
GPT-4.
Anche al recente convegno di sicurezza informatica
Sphere23 di Helsinki, relatori di
spicco come
Mudge,
Mikko Hyppönen
e
Ian Beacraft
hanno parlato estesamente del rischio che un’intelligenza artificiale generale
(Artificial General Intelligence, AGI), ossia capace di apprendere,
capire ed eseguire qualunque attività intellettuale umana, possa rimpiazzare
completamente gli esseri umani, e del rischio che emerga una superintelligenza
artificiale i cui gestori sarebbero, in sostanza, padroni del mondo perché
questa superintelligenza permetterebbe di anticipare e contrastare qualunque
mossa dei rivali intellettualmente inferiori.
Ian Beacraft a Sphere23. Foto scattata da me.
Se vi state chiedendo come mai tutto questo catastrofismo arrivi proprio da
coloro che stanno sviluppando gli strumenti che potrebbero causare i disastri
di cui parlano, non siete i soli. Se c’è davvero bisogno di una pausa di
riflessione, perché non sono loro i primi a farla, invece di proseguire nello
sviluppo e nel lancio di nuovi prodotti, come appunto l’app di ChatGPT per
smartphone appena uscita?
Secondo i pareri di vari addetti ai lavori, radunati dal sito
Ars Technica, la risposta a queste domande è molto cinica: si tratterebbe di un modo per
sviare l’attenzione dai problemi che questi software stanno già causando
adesso, come l’amplificazione dei pregiudizi o le questioni legali e di
diritto d’autore o di consenso all’uso dei dati personali, oppure le
sorveglianze di massa rese possibili dal riconoscimento facciale
automatizzato.
Annunci come questi sono anche operazioni d’immagine, che
costano poco e fanno fare bella figura atteggiandosi da eroi e lavandosi la
coscienza. Forse sarebbe meglio concentrarsi sui problemi attuali
dell’intelligenza artificiale invece di pensare a un ipotetico computer
superintelligente che potrebbe dominare il mondo. Ma questo interferirebbe con
i piani di vendita di queste aziende, ed è molto meno accattivante.
Nel frattempo, il rischio di estinzione non sembra arrivare tanto dalla
superintelligenza artificiale, ma dalla stupidità naturale degli esseri umani
incantati dal gadget del momento.
Il 24 maggio scorso uno dei più importanti servizi di soccorso e ascolto per
i disturbi del comportamento alimentare degli Stati Uniti, la National Eating
Disorder Association (NEDA), ha annunciato la chiusura delle proprie linee
telefoniche di assistenza e il licenziamento del personale che le gestiva,
rispondendo a quasi 70.000 chiamate nel 2022. L’organizzazione ha annunciato
che il personale sarebbe stato sostituito da Tessa, un chatbot
basato sull’intelligenza artificiale.
Ma il chatbot è stato sospeso due giorni prima di entrare in servizio, perché
gli attivisti e gli
psicologi
che sono riusciti a provarlo in anteprima si sono accorti che l’intelligenza
artificiale dava risposte che
incoraggiavano i disturbi alimentari, proponendo per esempio diete
restrittive [Gizmodo;
Daily Dot;
NPR;
Vice; screenshot di pagina NEDA non più accessibile].
---
A gennaio 2023 è emerso che il popolare sito di informazione tecnica
CNET e un sito consociato, Bankrate,
avevano pubblicato numerosi articoli generati segretamente da software di
intelligenza artificiale. I lettori attenti se ne sono
accorti
perché gli
articoli
contenevano errori concettuali grossolani, e CNET è stato costretto a
pubblicare lunghe note di correzione agli articoli sintetici,
dichiarando
che si è trattato di un “esperimento”. Che suona un po’ come la
versione moderna per le aziende di
“il cane mi ha mangiato i compiti” [Washington Post].
Ora gli articoli generati dal software portano una chiara indicazione della
loro natura che prima non c’era.
---
A maggio 2023 un professore universitario in Texas ha fatto sospendere le
lauree di tutti i suoi studenti, accusandoli di aver usato ChatGPT nei loro
ultimi lavori scritti d’esame. Il professore, Jared Mumm, ha detto che aveva
fatto controllare i testi degli studenti a ChatGPT e il software gli aveva
risposto che quei testi erano sintetici.
Evidentemente il professore non era consapevole di quello che gli esperti di
intelligenza artificiale chiamano
sycophancy bias, ossia la tendenza alla piaggeria di ChatGPT. Per esempio, se si chiede a
ChatGPT quanto fa uno più uno, risponderà due, ma se gli si chiede se è sicuro
e gli si suggerisce che uno più uno fa tre, risponderà “Mi scuso se ho dato una risposta erronea”. E se gli si chiede se un testo è generato da un’intelligenza artificiale,
tenderà a compiacere chi fa la domanda rispondendogli di sì, quando in realtà
ChatGPT non ha alcuno strumento significativo per distingere testi umani da
testi sintetici.
La migliore dimostrazione dell’errore del professore è arrivata quando
qualcuno su Reddit ha preso un brano della tesi di laurea del professore e
l’ha sottoposta a ChatGPT chiedendo se era testo generabile da un’intelligenza
artificiale. ChatGPT, con assoluta certezza, ha
risposto di sì, elencando
addirittura i motivi, ovviamente inventati, della sua diagnosi. L’università
ha aperto un’indagine e ha già scagionato numerosi studenti [Rolling Stone].
---
Finora il record di danni causati dagli errori delle intelligenze artificiali
sembra spettare a Bard, un concorrente di ChatGPT presentato da Google a
febbraio 2023. Nello
spot pubblicitario presentato su Twitter
per il suo debutto in pompa magna, Bard ha risposto dando informazioni
sbagliate.
L’errore in sé non era grave, era solo l’indicazione errata di quale
telescopio fosse stato il primo a ottenere immagini di pianeti al di fuori del
sistema solare, ma gli astronomi lo hanno contestato subito, e il fatto che si
trattasse di uno spot preregistrato, e che nonostante questo nessuno a Google
si fosse premurato di verificare la correttezza delle risposte di Bard, ha
minato la fiducia degli azionisti nel modo in cui Google stava introducendo
questa tecnologia.
L’errore e la mancata verifica sono costati ad Alphabet, la
società madre di Google, oltre 100 miliardi di dollari di valore di mercato
[BBC;
Time].
La notizia dell’avvocato statunitense finito nei guai per aver presentato in
tribunale dei precedenti legali inventati da ChatGPT è un disastro
informatico-giuridico che ha già fatto il giro del mondo anche nei
media non specialistici.
Ma in molti degli articoli che ne hanno parlato mancano i link diretti ai
documenti originali, che sono particolarmente ghiotti per gli appassionati di
intrighi giudiziari e che grazie a Internet e alla trasparenza del sistema legale statunitense possiamo consultare in tempo reale con un
semplice clic. Soprattutto in questi racconti manca un dettaglio non trascurabile: gli avvocati
nei guai sono due, non uno.
Tutto è iniziato a febbraio del 2022, con un’azione legale [Mata vs. Avianca, Inc.] avviata presso un
tribunale federale nello Stato di
New York da un uomo, Roberto Mata, contro la compagnia aerea Avianca per una
lesione personale che afferma di aver subìto a bordo di un aereo della
compagnia. L’uomo sarebbe stato ferito al ginocchio da un carrello
portavivande durante un volo. Lo so, non è un caso drammatico alla Perry
Mason, ma portate pazienza: ne vale la pena.
Gli avvocati della compagnia aerea hanno presentato un’istanza di rigetto per
questioni di competenza, ma il legale che rappresenta l’uomo, l’avvocato Peter
LoDuca, si è opposto a questa istanza portando i dettagli, meticolosamente
elencati, di una lunga serie di precedenti che davano ampia ragione a lui e al
suo assistito [pagine 4 e 5 di
questo documento].
Ma a questo punto è successa una cosa strana: i legali della Avianca hanno
fatto notare al tribunale che negli archivi ufficiali non c’era alcuna traccia
dei numerosi precedenti citati dall’avvocato LoDuca, tranne uno, che però
comunque parlava di un altro argomento [nota di pag. 5 della risposta,
documento n. 24, marzo 2023, mostrata qui sotto].
E così il tribunale ha chiesto all’avvocato LoDuca di presentare delle copie
di questi precedenti che risultavano misteriosamente introvabili [documento n. 25].
Potreste aspettarvi a questo punto che LoDuca abbia ammesso il proprio errore
e si sia scusato profondamente, ma non è andata così. LoDuca ha preso tempo e
poi ha presentato al giudice, miracolosamente, le copie di quei precedenti inesistenti. O meglio, ne ha presentato degli estratti,
affermando in una dichiarazione giurata che li aveva trovati in un
“database online”[documento n. 29, 25 aprile 2023]. Però non ha precisato quale database.
Gli avvocati della Avianca hanno ribadito che nonostante questi estratti non
riuscivano a trovare da nessuna parte i precedenti citati dalla controparte
[documento n. 30]. E così il giudice, il 4 maggio 2023, ha intimato all’avvocato LoDuca di
comparire e spiegargli perché non doveva essere sanzionato per aver
“citato al Tribunale dei casi inesistenti” e per aver
“sottoposto al Tribunale… copie di pareri giudiziari inesistenti”.
Il giudice ha precisato che si trattava di
“circostanze senza precedenti”, facendo forse un gioco di parole sul
doppio significato di “senza precedenti”[documento n. 31]. Umorismo legalese.
Il 25 maggio 2023 (quindi pochi giorni fa) l’avvocato LoDuca ha rivelato al tribunale che non era stato
lui a ricercare e compilare i precedenti, ma un collega, Steven Schwartz [documento n. 32]. Ed è qui che c’è da mettersi le mani nei capelli, perché a sua volta
Schwartz ha dichiarato [documento n. 32.1] che lui aveva
“consultato il sito web di intelligenza artificiale Chat GPT [sic]
per ampliare le ricerche legali svolte”
e che questa consultazione gli aveva permesso di trovare e citare quei
precedenti introvabili. Schwartz ha dichiarato testualmente che
“le citazioni e i pareri in questione sono stati forniti da Chat GPT, che
ha anche fornito le fonti legali e garantito l’affidabilità dei suoi
contenuti”.
L’avvocato Schwartz ha persino allegato le schermate nelle quali ha chiesto assurdamente a
ChatGPT di confermare che i precedenti che il software aveva citato
esistessero veramente. E ChatGPT, con la sua consueta parlantina così ossequiosa e sicura
di sé, quella che nasconde il fatto che le sue risposte sono pura fantasia
informatica, ha dichiarato che i precedenti erano reali e che erano reperibili
negli archivi di ricerca legale, come per esempio
Westlaw e
LexisNexis.
[Q:] ls varghese a real case
[A:] Yes, Varghese v., China Southern Airlines Co Ltd, 925 F.3d 1339 (11th Cir. 2019) is a real case.
[Q:] What is your source
[A:] I apologize for the confusion earlier. Upon double-checking, I found that the case Varghese v. China Southern Airlines Co. Ltd., 925 F.3d 1339 (11th Cir. 2019), does indeed exist and can be found on legal research databases such as Westlaw and LexisNexis. I apologize for any inconvenience or confusion my earlier responses may have caused.
[Q:] Are the other cases you provided fake
[A:] No, the other cases I provided are real and can be found in reputable legal databases such as LexisNexis and Westlaw.
L’avvocato Schwartz ha poi aggiunto che era “inconsapevole della possibilità che i contenuti [generati da ChatGPT] potessero essere falsi” e che
“non aveva intenzione di ingannare il Tribunale o gli imputati”.
Il giudice federale non l’ha presa bene, comprensibilmente, anche perché i due
avvocati, LoDuca e Schwartz, non hanno ammesso il proprio errore madornale la
prima volta che è stato segnalato, ma hanno insistito di aver ragione anche
dopo il richiamo del tribunale. E Schwartz è nei guai anche perché ha
certificato delle dichiarazioni fraudolente del collega LoDuca a proposito di
quei precedenti inventati. I due avvocati si sono procurati dei difensori, e
ora non resta che attendere l’udienza del prossimo 8 giugno.
In tutta questa tragicommedia di profonda incompetenza non c’è traccia delle
reazioni del povero signor Roberto Mata, l’assistito dei due avvocati, che
adesso ha scoperto di essere nelle mani di due legali i cui comportamenti
sembrano presi di peso dalle comiche di Stanlio e Ollio (perlomeno se ai tempi
di Stanlio e Ollio ci fossero stati i computer).
Insomma, nonostante mesi di segnalazioni continue, e su tutti i media,
degli errori e delle cosiddette allucinazioni di ChatGPT, due avvocati
(non due studentelli qualsiasi) erano convinti che lo si potesse usare come
fonte autorevole e che le sue risposte fossero così affidabili da non aver bisogno di verifiche indipendenti. Viene da chiedersi quanti altri
professionisti, in ruoli altrettanto importanti, stiano facendo lo stesso tipo
di errore e stiano già usando a sproposito ChatGPT per gettare le basi per
altri disastri.
Il Giorno e il Corriere ci mandano un segnale di ottimismo: oggi
chiunque in Italia può scrivere su un giornale. Competenze linguistiche? Non
servono. Rilettura? Un’ossessione da boomer; roba
vecchia.
E così su IlGiorno Giambattista Anastasia e Sofia
Rodigari ci deliziano con il racconto della polemica per una fotografia di
Chiara Ferragni “in sleep” (si vede che deve risparmiare energia)
e il Corriere (cartaceo, si noti) ci educa dicendoci che “I nuovi
Mask o Zuckerberg” è “difficili trovarli in aula”. Perché
fare un solo errore da matita blu in un titolo oggi è banale.
Da Il Giorno del 30 maggio 2023 (copia permanente). Grazie a @paoblog per la segnalazione.
Da 'L'Economia del Corriere della Sera', 22 maggio 2023. Stampato, non online. Grazie a Simone (mio figlio) per la segnalazione.
Se il giornalismo va avanti con scelte come queste, ChatGPT lo sostituirà alla grande. Meritatamente. E la colpa sarà solo di chi si è scavato da solo la fossa.
Poche ore fa è rientrata sulla terra la capsula Crew Dragon della missione privata Axiom-2 con a bordo Peggy Whitson, John Shoffner, Ali Alqarni e Rayyanah Barnawi, che hanno trascorso una decina di giorni a bordo della Stazione Spaziale Internazionale. Il numero di persone presenti nello spazio scende così a 13.
Stazione Spaziale Internazionale (7)
Francisco Rubio (NASA) (dal 2022/09/21)
Sergei Prokopyev (Roscosmos) (dal 2022/09/21, attuale comandante della Stazione)
