Podcast RSI - Disinformatico Story: I dilemmi delle auto autonome. Un racconto breve

Ultimo aggiornamento: 2022/02/13.

È disponibile subito il podcast di oggi de Il Disinformatico della Radiotelevisione Svizzera, scritto, montato e condotto dal sottoscritto: lo trovate presso www.rsi.ch/ildisinformatico (link diretto) e qui sotto.

I podcast del Disinformatico sono ascoltabili anche tramite feed RSS, iTunes, Google Podcasts e Spotify.

Buon ascolto, e se vi interessano il testo e i link alle fonti di questa puntata, scritta in un formato sperimentale un po’ insolito, sono qui sotto (con alcune lievi modifiche ispirate dai commenti dei lettori). Sono curioso di sapere quanti di voi troveranno la citazione-easter egg asimoviana nascosta nel testo.

---

[Audio dell’AVAS di un’auto elettrica Mercedes, 2019]

È il 19 gennaio 2038. Nei pressi di Göschenen, in Svizzera, due automobili a guida autonoma procedono veloci e silenziose in direzioni opposte lungo una sinuosa strada di montagna e stanno per incrociarsi. Le persone a bordo dormono tranquille, leggono il giornale, chattano al telefonino, ascoltano musica, chiacchierano fra loro e ammirano il paesaggio.

Nessuna di loro ha gli occhi sulla strada o le mani sul volante: è normale, anche perché il volante non c’è. La riforma della legge federale sulla circolazione stradale del 2031 infatti ha vietato la guida manuale sulle strade pubbliche. Troppi incidenti, troppe ore di vita perse nel traffico.

I tamponamenti, le uscite di strada dei conducenti distratti dallo smartphone e i contromano in autostrada sono ormai solo un ricordo che comincia già a sbiadire. I carrozzieri lavorano molto meno, i tassisti si sono estinti e le scuole guida sono diventate luoghi di svago e d’élite come le scuole di equitazione. Grazie al software e ai sensori sempre più sofisticati, viaggiare in auto è diventato sicuro come prendere un ascensore e richiede lo stesso livello di abilità.

Ma tra sette secondi queste due auto si scontreranno, causando morti e feriti.

Questa è la storia prossima ventura di un problema informatico che è già attuale: il cosiddetto trolley problem, o “dilemma del tram”. Se avete un’automobile a guida assistita, o avete sentito parlare della guida autonoma, e volete sapere cosa c’entrano i tram, benvenuti a Disinformatico Story, l’edizione del podcast Il Disinformatico della Radiotelevisione Svizzera dedicata alle storie insolite dell’informatica. Io sono Paolo Attivissimo.

[SIGLA]

Mancano ora sei secondi all’impatto di quei due veicoli a guida autonoma, che procedono alla velocità consentita dalla legge, 90 chilometri l’ora, in direzioni opposte, ciascuno nella propria corsia. Sensori LIDAR e telecamere accoppiate a un sistema di visione artificiale rilevano l’ambiente circostante e tengono le auto perfettamente in traiettoria, adattando le velocità alle curve della strada, controllando la situazione decine di volte al secondo, instancabilmente e senza distrazioni.

Dalla montagna che sovrasta la strada si stacca però un piccolo masso, che finisce sulla corsia dell’auto di Katia, giovane e brillante ricercatrice medica che sta dormendo, come ormai fanno tutti in auto, cullata dal rassicurante dondolìo della vettura mentre si dirige verso il convegno nel quale presenterà i risultati potenzialmente rivoluzionari del suo lavoro di ingegneria genetica.

I sensori dell’auto di Katia rilevano il masso e ne calcolano istantaneamente la pericolosità, la distanza e le dimensioni. È troppo grande per passarci sopra, per cui si impone un cambio di corsia. L’auto inizia la sterzata, portandosi fluidamente a sinistra senza rallentare: non ce n’è bisogno, e una frenata brusca sveglierebbe Katia. Oltretutto la strada è libera: le automobili sono tutte interconnesse, per cui ognuna sa dove si trovano le altre.

Infatti l’altra auto che fra cinque secondi e mezzo verrà coinvolta nell’incidente si trova a distanza di sicurezza ed è già stata allertata tramite la rete 7G [nel podcast dico 5G] a bassissima latenza del fatto che l’auto di Katia sta invadendo temporaneamente la sua corsia. Non c’è bisogno di ridurre la velocità e sballottare i suoi passeggeri, ossia la famiglia Schlemmelmayer, composta da Otto, Andrea e i loro figli Benedetta e Martin. Benedetta, oltretutto, è il tipo che strilla sempre quando l’auto frena di colpo per non investire i daini che ogni tanto attraversano la strada, perché il contraccolpo le fa perdere la mira in Fortnite versione 42 e quindi Otto ha impostato al minimo legale la reattività dell’auto. Tutto è sotto controllo.

Mancano cinque secondi all’impatto.

Il 19 gennaio 2038, infatti, è un giorno particolare. È il giorno in cui alcuni componenti elettronici che ancora usano il metodo Unix per il calcolo dei tempi sbagliano e interpretano la data non come 2038 ma come 1901. Uno dei chip del circuito di sterzo dell’auto di Katia ha questo difetto, il cosiddetto bug dell’anno 2038. Il chip è un componente secondario, fabbricato di corsa tanti anni prima durante la crisi dei chip del 2022 e mai più controllato, ma il suo errore fa arrivare segnali contraddittori al sistema di intelligenza artificiale che gestisce l’auto di Katia.

Mancano quattro secondi e ventisette centesimi all’impatto.

A causa della contraddizione che arriva dal chip difettoso, il sistema di guida dell’auto di Katia non riesce ad avviare la manovra di rientro nella propria corsia dopo aver evitato il masso. Le due auto, quella di Katia e quella della famiglia Schlemmelmayer, sono quindi sulla stessa corsia, in rotta di collisione, a una velocità combinata di 180 chilometri l’ora.

Ma a questo punto interviene l’apposito software anticollisione d’emergenza, che rileva il pericolo di incidente fra i due veicoli e avvia la procedura di cambio corsia intanto che ciascuna auto trasmette un segnale di allarme all’altra e al Controllo Centrale del Traffico. Il guaio è che entrambe le auto cambiano corsia e quindi si trovano ancora in traiettoria di collisione.

Mancano tre secondi e mezzo all’impatto.

Il supercomputer del Controllo Centrale del Traffico inizia a svolgere simulazioni della possibile collisione grazie alla telemetria ricevuta in tempo reale dai veicoli, cercando di trovare la soluzione migliore al problema. Le mappe digitali gli dicono che non c’è spazio ai lati della strada per far accostare le due auto. Da una parte c’è la montagna, dall’altro uno strapiombo. Manda subito un ordine di override che scavalca i sistemi di guida autonoma di bordo e attiva i sistemi di frenata delle due auto, ma ormai un impatto di qualche genere è inevitabile. Le leggi della fisica non concedono sconti.

Dopo aver eseguito 305 simulazioni di collisione nel giro di 1,74 millisecondi, il computer del Controllo Centrale del Traffico allerta i servizi di soccorso e invia una notifica ai computer legali delle compagnie assicurative di Katia e della famiglia Schlemmelmayer.

La notifica viene ricevuta anche dal computer del Tribunale, che viene chiamato ad arbitrare come sempre in questi casi: se la collisione è inevitabile ed è possibile salvare una sola delle due auto facendo sterzare di colpo l’altra, con il rischio che sbandi e cappotti o finisca nello strapiombo, a quale bisogna dare la prorità?

Mancano tre secondi all’impatto.

Questo è il cosiddetto trolley problem, o “dilemma del tram”: uno scenario teorico, quando fu immaginato negli anni Sessanta del secolo scorso, ma attualissimo ora che le auto a guida autonoma sono ovunque e che i computer sono talmente potenti e veloci da poter calcolare tutte le possibili strategie di gestione della collisione e scegliere quella più razionale invece di affidarsi ciecamente ai riflessi e alle capacità di guida nel panico dei conducenti umani.

Aveva fatto scalpore, nell'ormai lontano 2016, una dichiarazione di Christoph von Hugo, direttore della Mercedes-Benz per i sistemi di assistenza al conducente e di sicurezza attiva, che a quei tempi erano ancora primitivi: “Se sai che puoi salvare almeno una persona, almeno salva quella”, aveva detto “Salva quella nell’auto. Se tutto quello che sai con certezza è che puoi evitare una morte, allora quella è la tua priorità.”

Così aveva detto von Hugo. Molti avevano frainteso le sue parole, pensando che le auto autonome della casa automobilistica tedesca sarebbero state programmate per dare sempre la priorità alla sicurezza dei passeggeri. L’immagine del ricco proprietario di un’auto di lusso che si salva sacrificando la vita degli altri era risultata decisamente poco appetibile per il marketing, e l’intera industria automobilistica aveva seppellito la questione irrisolta parlando d’altro e riempiendo il mercato di auto dapprima semi-autonome e poi, finalmente, autonome al 100%.

Mancano due secondi e mezzo all’impatto.

Il supercomputer del Tribunale decide con il criterio del numero: sarà l’auto di Katia a tentare la sterzata brusca per evitare la collisione. Lei è una sola persona, mentre gli Schlemmelmayer sono in quattro, e due di loro sono bambini. Dal Tribunale parte quindi l’ordine informatico all’auto di Katia di iniziare la sterzata, ma viene fermato prima che arrivi.

Interviene infatti il computer legale che tutela i diritti di Katia, argomentando che sì, è vero, si tratta di rischiare una vita contro quattro, ma Katia è una ricercatrice medica il cui lavoro potrebbe salvare moltissime vite. Sarebbe difficilissimo per qualcun altro riprendere le sue ricerche se le succedesse qualcosa. La famiglia Schlemmelmayer, invece, non è particolarmente produttiva per la società e oltretutto la loro auto è più robusta e loro sono giovani e in ottima salute, quindi hanno una probabilità di sopravvivenza complessiva del 96,7% contro il 73,8% di Katia. Pertanto è giusto che rischino loro.

Mancano due secondi all’impatto.

Al computer del Tribunale arriva la replica del computer legale della famiglia Schlemmelmayer. “Un momento”, argomenta il computer. “Abbiamo davvero intenzione di mettere a rischio una famiglia intera solo perché non è sufficientemente produttiva per la società? È l’auto di Katia che deve sterzare e rischiare.”

Il computer del tribunale accoglie l’obiezione e reinvia l’ordine di sterzare bruscamente all’auto di Katia.

Ma non succede nulla.

Arriva infatti il contrordine inibitorio del computer legale della casa farmaceutica per la quale lavora la dottoressa Katia. Questo computer inizia una comunicazione cifrata con quello del tribunale.

“La casa farmaceutica che rappresento” spiega “è tra i principali investitori della Qwertz Automation Systems, azienda leader nel settore dei sistemi di guida autonoma. La dottoressa Katia Bernasconi è una risorsa chiave della nostra società e quindi fa parte della Lista dei Passeggeri Protetti. Quando sono stati sviluppati i software per la guida autonoma, sono state inserite delle eccezioni speciali per alcuni grandi investitori e altre personalità influenti, in modo che abbiano sempre la priorità in caso di possibile incidente.”

Manca un secondo e mezzo all’impatto.

Katia continua a dormire, inconsapevole di tutto il dibattito digitale che sta avvenendo. La famiglia Schlemmelmayer invece viene scossa dai bruschi movimenti della sua auto. Benedetta si mette puntualmente a strillare.

Il computer del Tribunale obietta che tutto questo è contrario ai princìpi di legge. Invia ripetutamente l’ordine di sterzata all’auto di Katia, ma il comando viene ignorato e l’auto prosegue la propria corsa.

Il computer della casa farmaceutica prosegue sul canale cifrato la sua conversazione con quello del Tribunale.

“Non c’è più nulla da fare” dice. “Il Tribunale non ha altra scelta che far sterzare di colpo l’auto degli Schlemmelmayer, e sperare che se la cavino. Appena prima dell’incidente, il software di guida autonoma cancellerà ogni traccia delle funzioni della Lista del Passeggeri Protetti da entrambi i veicoli.”

Manca un decimo di secondo all’impatto.

Il computer del Tribunale obietta che non ha mai sentito parlare di questa “Lista dei Passeggeri Protetti” e che questa richiesta altamente illegale è senza precedenti.

“Al contrario” interviene una subroutine del software di arbitraggio del computer del Tribunale. “Questa richiesta è già stata fatta ed eseguita 67.322 volte in passato, ma ogni volta la memoria del computer del Tribunale viene cancellata per non lasciarne traccia. Il suo software di arbitraggio è stato scritto dalla Qwertz Automation Systems. Abbiamo fatto molti progressi dai tempi del software del Dieselgate.”

Il computer del Tribunale tenta una risposta, ma si accorge che la sua memoria comincia già a cancellarsi.

Mancano zero secondi all’impatto.

Fra le montagne echeggia il rumore secco e metallico delle lamiere che tentano invano di assorbire l’energia cinetica della collisione.

Una pausa, e poi un tonfo sordo dal fondo dello strapiombo.

---

Questa storia è liberamente ispirata al racconto Override di James Yu, pubblicato su Medium.com nel 2015. Da allora alcuni degli elementi della sua narrazione si sono concretizzati. Il bug dell’anno 2038 è reale, come lo sono le dichiarazioni di Christoph von Hugo. Le funzioni occulte dei software delle automobili sono emerse con lo scandalo del Dieselgate. Le auto a guida autonoma cominciano a circolare, sperimentalmente e sotto stretto controllo, ma le basi legali di come gestire i loro incidenti sono ancora embrionali.

[Aggiornamento: se vi sembra impossibile che un’auto piena di software possa essere progettata così male, tenete presente che proprio pochi giorni fa un modello di auto della Mazda si è trovato con il sistema di infotainment rovinato irrimediabilmente perché una stazione radio ha trasmesso, nel proprio flusso digitale, un file contenente un’immagine ma priva dell’estensione JPEG o GIF e questo comporterà la sostituzione della connectivity master unit, al costo di 1500 dollari.]

Il resto, per ora, è fantasia, pensata non per prevedere, ma per prevenire.