Ieri (2 giugno) è partita l’ennesima frenesia mediatica secondo la quale una intelligenza artificiale, durante un’esercitazione, avrebbe ucciso il proprio operatore umano perché non le permetteva di completare la propria missione.
Prima di tutto, non è morto nessuno. Secondo, non c’è stata nessuna esercitazione del genere. Si tratta solo di uno scenario ipotetico, che è stato presentato maldestramente e quindi è stato frainteso perché la storia era ghiotta. Ma c’è comunque una riflessione molto importante da fare a proposito di tutte le applicazioni dell’intelligenza artificiale.
Alcuni siti (come Il Post) hanno già fatto un ottimo lavoro di demistificazione, citando anche i titoli sensazionalisti e irresponsabili di molta stampa internazionale. La notizia è partita dal sito Aerosociety.com, che ha riportato una sintesi delle relazioni presentate a una conferenza sulle tecnologie militari prossime venture [il Future Combat Air and Space Capabilities Summit] tenutasi a Londra a fine maggio scorso e piena di spunti interessantissimi anche lasciando da parte il clamore di questa notizia specifica.
Aerosociety ha attribuito [qui; copia permanente] al colonnello Tucker ‘Cinco’ Hamilton, capo dei collaudi delle operazioni di intelligenza artificiale [chief of AI test and operations] dell’Aeronautica militare statunitense, una descrizione di un test simulato nel quale un drone gestito tramite intelligenza artificiale avrebbe avuto il compito di identificare e distruggere delle postazioni di missili terra-aria, aspettando l’autorizzazione finale da parte di un operatore umano. Ma siccome all’IA era stata data la direttiva primaria di distruggere quelle postazioni, il software sarebbe arrivato alla conclusione che l’operatore era un ostacolo al compimento della propria missione e quindi avrebbe deciso di eliminarlo. Successivamente sarebbe stato insegnato all’IA che no, uccidere l’operatore non andava bene; e quindi il software avrebbe elaborato una nuova strategia: distruggere l’impianto di comunicazioni attraverso il quale arrivavano gli ordini di interrompere le missioni.
Ma se si va a leggere l’articolo originale è chiaro sin da subito che si tratta di una simulazione [“simulated test”], non di una esercitazione reale. E se non ci si ferma al paragrafo che tutti hanno citato [quello evidenziato qui sotto in grassetto] ma si legge tutto quanto l’articolo, il contesto è abbastanza evidente: il colonnello Hamilton stava mettendo in guardia contro l’eccesso di fiducia nell’IA, che secondo lui è “facile da ingannare” e soprattutto “crea strategie altamente inattese per raggiungere il proprio obiettivo”.
Anche il paragrafo finale dell’articolo originale spiega che siamo nel campo delle ipotesi sviluppate a titolo preventivo, visto che cita un altro relatore, il tenente colonnello Brown, anche lui dell’Aeronautica militare statunitense, che ha parlato del proprio lavoro, che è consistito nel creare una serie di scenari “per informare i decisori e porre domande sull’uso delle tecnologie” attraverso una serie di racconti di fiction che usciranno sotto forma di fumetti.
Riporto per intero l’articolo per chiarire bene il contesto:
As might be expected artificial intelligence (AI) and its exponential growth was a major theme at the conference, from secure data clouds, to quantum computing and ChatGPT. However, perhaps one of the most fascinating presentations came from Col Tucker ‘Cinco’ Hamilton, the Chief of AI Test and Operations, USAF, who provided an insight into the benefits and hazards in more autonomous weapon systems. Having been involved in the development of the life-saving Auto-GCAS system for F-16s (which, he noted, was resisted by pilots as it took over control of the aircraft) Hamilton is now involved in cutting-edge flight test of autonomous systems, including robot F-16s that are able to dogfight. However, he cautioned against relying too much on AI noting how easy it is to trick and deceive. It also creates highly unexpected strategies to achieve its goal.
He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”
He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”
This example, seemingly plucked from a science fiction thriller, mean [sic] that: “You can't have a conversation about artificial intelligence, intelligence, machine learning, autonomy if you're not going to talk about ethics and AI” said Hamilton.
On a similar note, science fiction’s – or ‘speculative fiction’ [sic] was also the subject of a presentation by Lt Col Matthew Brown, USAF, an exchange officer in the RAF CAS Air Staff Strategy who has been working on a series of vignettes using stories of future operational scenarios to inform decisionmakers and raise questions about the use of technology. The series ‘Stories from the Future’ uses fiction to highlight air and space power concepts that need consideration, whether they are AI, drones or human machine teaming. A graphic novel is set to be released this summer.
Dopo il clamore mediatico e i dubbi espressi dagli esperti sulla plausibilità dell’intera descrizione, un portavoce dell’Aeronautica militare statunitense ha chiarito che nessuna simulazione del genere è mai avvenuta e Hamilton stesso ha detto che si è “espresso male” e aveva descritto un “esperimento mentale” non basato su esercitazioni reali, precisando inoltre che “non avremmo nemmeno bisogno di svolgere [un esperimento del genere] per renderci conto che è un esito plausibile”.
Ma la vicenda ha sollevato una questione importante che sarebbe imprudente tralasciare o liquidare perché la notizia della presunta simulazione e della “ribellione” dell’IA in perfetto stile Terminator o Robocop [in particolare per Robocop, il “licenziamento” finale che dà via libera al protagonista] si è rivelata una mezza bufala.
---
Il Massimizzatore di Fermagli è un’intelligenza artificiale generale altamente
sofisticata (e per ora assolutamente ipotetica) la cui direttiva primaria è
un’idea a prima vista del tutto innocua: produrre il maggior numero possibile
di fermagli. Ne trovate una versione giocabile presso
DecisionProblem.com.
Attenzione: può causare facilmente dipendenze.
Il problema è che se questa direttiva non viene espressa mettendo numerosi paletti, l’IA la interpreta come un “a qualunque costo”, e quindi prende mano mano il controllo delle industrie del mondo, trasformandole tutte in fabbriche automatiche di fermagli, poi si rende conto che gran parte della popolazione umana è inutile e quindi la elimina lasciando in vita solo gli schiavi addetti alla manutenzione delle fabbriche, e infine si lancia nella conquista robotica del Sistema Solare, convertendo tutti i pianeti che raggiunge in immense fabbriche di fermagli, espandendosi poi nella Via Lattea e infine in tutte le altre galassie. In fin dei conti, le è stato ordinato di produrre il maggior numero possibile di fermagli, e quindi il suo compito non può esaurirsi finché tutti gli atomi dell’intero universo sono stati utilizzati per creare fermagli.
Questo esempio paradossale ed estremo viene usato per sottolineare che anche un’intelligenza artificiale progettata senza intenti ostili e con competenza potrebbe distruggere l’umanità come semplice effetto collaterale, perché chi la sviluppa non le ha instillato concetti che noi umani consideriamo così basilari che li diamo per scontati, tanto che non riusciamo nemmeno a immaginarceli. Concetti come “la produzione del massimo numero possibile di fermagli non va ottenuta sacrificando il genere umano” oppure, nel caso dello scenario ipotetico militare di cui si parla tanto adesso, “non puoi raggiungere il tuo obiettivo uccidendo i tuoi alleati o distruggendo le loro risorse”.
Il colonnello Hamilton ha fatto benissimo a citare la creazione di “strategie altamente inattese per raggiungere il proprio obiettivo”. Uno degli aspetti benefici più desiderati dell’IA è il suo modo non intuitivo, inumano, di risolvere i problemi: questo le permette di trovare soluzioni originali, che mai sarebbero venute in mente a una persona, come negli esperimenti di IA nei quali si chiede al software di imparare a camminare e si vede che s’inventa i modi più bislacchi di raggiungere questo obiettivo.
Per esempio, bisogna fare molta attenzione a come si formula a un’IA la
direttiva “trovami una cura per il cancro negli esseri umani”, perché
se la richiesta viene formulata o interpretata come
“riduci al minimo possibile i casi di cancro negli esseri umani”, una
delle soluzioni “altamente inattese” ma perfettamente conformi alla
direttiva è... sterminare tutti gli esseri umani. Così il numero di casi di
cancro scenderà a zero e vi resterà per sempre. Obiettivo raggiunto!
Questi sistemi, insomma, falliscono in modo inatteso, non intuitivo e molto difficile da anticipare, anche senza che vi sia un intento ostile. Per questo sono molto scettico, per esempio, sulla guida assistita o autonoma basata sull’intelligenza artificiale. Noi interpretiamo le direttive impartite alle IA con un livello di astrazione e con degli assunti e dei valori morali che questi software non hanno (almeno per ora). Facciamo una fatica enorme a creare direttive che non trascurino nessuno di questi assunti e valori. E soprattutto restiamo abbagliati troppo spesso dall’apparente intelligenza di questi software.
Fonti aggiuntive: Quintarelli.it, The Guardian, The Drive, National Review, Skeptics Stackexchange, Simon Willison, Ars Technica, TechCrunch.
Nessun commento:
Posta un commento
Se vuoi commentare tramite Disqus (consigliato), vai alla versione per schermi grandi. I commenti immessi qui potrebbero non comparire su Disqus.