skip to main | skip to sidebar
45 commenti

Se un’auto autonoma deve scegliere chi uccidere e chi salvare, per Mercedes salverà il conducente

L’articolo è stato agggiornato estesamente dopo la pubblicazione iniziale del 2016/10/16. Ultimo aggiornamento: 2016/10/18 16:15.

Il dilemma del tram (trolley problem) è un esperimento mentale molto semplice: immaginate un tram che corre sul proprio binario. Sul binario ci sono cinque operai, che il conducente del tram vedrà soltanto quando non ci sarà più tempo per frenare. E quando loro si accorgeranno del tram che incombe sarà troppo tardi per scansarsi.

Per fortuna ci siete voi, accanto alla leva che aziona uno scambio lungo il percorso del tram. Potreste quindi deviare la corsa del veicolo e salvare i cinque operai; ma sul binario alternativo c’è un altro operaio, che non si aspetta che gli piombi addosso un tram e non avrà tempo di accorgersene.

Cosa fate?

Se non fate niente, moriranno cinque persone. Se azionate lo scambio, ne morirà una sola, ma sarà stato il vostro intervento diretto a scegliere di farla morire.

Questo dilemma, concepito negli anni sessanta del secolo scorso, è tornato di moda di recente con l’inizio della sperimentazione delle automobili a guida autonoma, dove il conducente si lascia trasportare dal computer di bordo e non è più responsabile delle azioni dell’auto, come un passeggero su un treno.

Cosa deve fare il computer di bordo se si trova nella situazione di dover decidere, per esempio, se restare in strada e investire un gruppo di bambini che stanno attraversando su una curva cieca oppure uscire volontariamente di strada e uccidere i propri passeggeri? A differenza di un essere umano, un computer è talmente veloce che può calcolare in un batter d’occhio tutti gli scenari possibili e valutarne le rispettive conseguenze. Un computer, insomma, ha tempo di scegliere.

Il guaio di questo dilemma (incubo di tanti automobilisti) è che non esiste una risposta accettabile. Chi vende automobili, per esempio, deve decidere se dire al cliente che la sua auto sceglierà di ucciderlo oppure travolgerà freddamente chiunque incontri sul proprio percorso. Nessuno comprerà un’auto programmata per ammazzarlo, e un’auto ammazzapedoni sarebbe decisamente impopolare, per cui venditori e fabbricanti finora hanno cercato in tutti i modi di glissare sulla questione.

Ma Christoph von Hugo, direttore della Mercedes-Benz per i sistemi di assistenza al conducente e di sicurezza attiva, ha dichiarato in una recente intervista alla rivista Car and Driver che “Se sai che puoi salvare almeno una persona, almeno salva quella. Salva quella nell’auto. Se tutto quello che sai con certezza è che puoi evitare una morte, allora quella è la tua priorità.” In altre parole, secondo von Hugo le future auto autonome della casa automobilistica tedesca saranno programmate per dare sempre la priorità alla sicurezza dei passeggeri.

Ragionamento da brivido, giustificato però da alcune considerazioni: “Potresti sacrificare l’auto, ma non sai cosa succederà poi alle persone che hai salvato inizialmente in situazioni spesso molto complesse”, ha aggiunto von Hugo.

Per esempio, se l’auto sterza per evitare dei bambini, potrebbe perdere il controllo e centrare un altro gruppo di pedoni o uno scuolabus che arriva nell’altro senso di marcia: le conseguenze sono troppo imprevedibili.

Ma von Hugo ha anche chiarito che in realtà la ricerca sulle auto autonome ha l'obiettivo di evitare che si trovino in situazioni indecidibili come quella del dilemma del tram: “il 99% del nostro lavoro tecnico consiste nel prevenire in partenza queste situazioni.”

Le dichiarazioni di von Hugo hanno comunque scatenato un putiferio: l’immagine del ricco proprietario di un’auto di lusso che si salva sacrificando la vita degli altri è decisamente poco appetibile per il marketing di Mercedes.

Nei giorni successivi, dopo la pubblicazione iniziale di questo articolo, la casa automobilistica ha dichiarato, tramite un portavoce, che le parole di von Hugo sono state fraintese e non rispecchiano la posizione ufficiale, secondo la quale “[...] né i programmatori né i sistemi automatizzati hanno il diritto di valutare il valore delle vite umane. Il nostro lavoro di sviluppo si concentra sull’evitare completamente le situazioni di dilemma, per esempio implementando nei nostri veicoli una strategia operativa che evita il rischio. Non ci sono casi nei quali abbiamo preso una decisione in favore degli occupanti del veicolo. Continuiamo ad aderire al principio di fornire il massimo livello possibile di sicurezza a tutti gli utenti della strada. Prendere una decisione in favore di una persona e quindi contro un’altra non è legalmente ammissibile in Germania. Vi sono leggi analoghe anche in altri paesi. Chiarire queste questioni legale ed etiche a lungo termine richiederà un ampio dibattito internazionale. Questo è l’unico modo di creare un consenso inclusivo e promuovere l’accettazione dei risultati. Come fabbricanti, implementeremo sia le basi legali sia ciò che è ritenuto socialmente accettabile.”

Ma nel frattempo la questione è stata posta con forza: grazie all’informatica possiamo ridurre drasticamente le stragi della strada, imponendo per esempio limiti di velocità e distanze di sicurezza invalicabili e un controllo centralizzato del traffico. Il vero dilemma è se farlo adesso, con la tecnologia che abbiamo, e cominciare a salvare vite umane, o se aspettare il perfezionamento di un dibattito filosofico che forse non si concluderà mai.
Invia un commento
I commenti non appaiono subito, devono essere tutti approvati da un moderatore. Lo so, è scomodo, ma è necessario per tenere lontani scocciatori, spammer, troll e stupidi: siate civili e verrete pubblicati qualunque sia la vostra opinione; gli incivili di qualsiasi orientamento non verranno pubblicati, se non per mostrare il loro squallore.
Inviando un commento date il vostro consenso alla sua pubblicazione, qui o altrove.
Maggiori informazioni riguardanti regole e utilizzo dei commenti sono reperibili nella sezione apposita.
NOTA BENE. L'area sottostante per l'invio dei commenti non è contenuta in questa pagina ma è un iframe, cioè una finestra su una pagina di Blogger esterna a questo blog. Ciò significa che dovete assicurarvi che non venga bloccata da estensioni del vostro browser (tipo quelle che eliminano le pubblicità) e/o da altri programmi di protezione antimalware (tipo Kaspersky). Inoltre è necessario che sia permesso accettare i cookie da terze parti (informativa sulla privacy a riguardo).
Commenti
Commenti (45)
mah, considerando quanta gente muore ogni anno di incidenti stradali, la stragrande maggioranza dei quali sara' evitata quando le macchine autoguidanti saranno la norma, si puo' anche dire: chissenefrega. Stiamo parlando di centinaia di migliaia di morti in meno all'anno, e stiamo a filosofeggiare su casi ultrarari, probabilmente immaginari (ho seri dubbi su capacita' di prevedere l'esito di una situazione del genere), che capiteranno si e no una volta al decennio. Bah
se anche lo scuolabus fosse a guida autonoma ipotizzo che entrambi i veicoli possano essere in comunicazione tra loro e in qualche modo coordinarsi. Il problema dell'imprevedibilità del gruppo di bambini/persone rimane. Forse avendo tutti un personal tracker addosso, ma la situazione diventerebbe un po troppo orwelliana
Un quesito impossibile da risolvere, far stabilire autonomamente ad un veicolo la soluzione migliore spaventa moltissimo, accettare il male minore non è una grande soluzione.
Personalmente implementerei la soluzione più umana, un uomo alla guida della sua auto che si trovasse di fronte dei bambini/persone sulla carreggiata credo che istintivamente agirebbe sui freni e sterzo anche a rischio della propria incolumità nel tentativo estremo di salvare delle vite.
Questo credo dovrebbe fare anche un'auto a guida autonoma.
Situazioni nella maggioranza dei casi purtroppo prevenibili solo eliminando totalmente i veicoli (sia a guida autonoma che umana). Ma la cosa è improponibile (e giustamente improponibile, aggiungo io).
Dilemma semplice: chi sbaglia paga. Se 10 ragazzini si buttano in strada all'improvviso, la mia macchina, guidata nei limiti di legge, non deve uccidere me solo perché 1 < 10.
Strano. Mi sarei aspettato che una simile Mercedes avrebbe puntato sulla piu' vicina BMW...
Forse per von Hugo sarebbe stato più onesto dire:
La vita di chi può permettersi un'auto da 50.000 euro vale di più di quella del primo fesso che ti attraversa la strada.
Premesso che sono pipponi mentali, dato che oggi a) quando ci si trova in queste situazioni è perché non si è fatto nulla per prevenirle prima b) si risolvono con "giro lo sterzo mi attacco ai freni chiudo gli occhi urlo";
il ragionamento che fa è assolutamente condivisibile, forse non è stata compresa la seconda parte:

“Se tutto quello che sai con certezza è che puoi evitare una morte, allora quella è la tua priorità.”

Leggasi: se sono 2 pedoni contro 1 conducente, viene condannato il conducente.

Se è 1 pedone e un conducente, ovvero il numero di vittime sarebbe comunque 1, mi sembra normale che l'automobile privilegi il conducente. Dove starebbe lo scandalo?



Ne approfitto per dire che non ho mai capito dove starebbe la questione nel caso dell'esempio fatto da Paolo per il tram. Tu hai un ruolo nella vicenda: indipendentemente che sia per azione o per omissione, tu hai un ruolo. Potresti venir sollevato dalla responsabilità nel caso tu non abbia consapevolezza di quel che sta succedendo, altrimenti la morte di 4 operai è conseguenza della tua scelta (non far niente).

Nessuno si sognerebbe di dire che tu non sia responsabile di un incidente solo perché non hai intrapreso un'azione, perché ad es. non hai frenato quando avevi tempo e modo di farlo. Cambiamo leggermente la prospettiva:
stai andando in auto. C'è un bivio. Da una parte c'è una persona in mezzo alla strada, dall'altra ce ne sono 5. Avevi già iniziato a sterzare verso l'uscita in cui ci sono 5 persone quando ti sei accorto della cosa MA sei ancora comodamente in grado di cambiare idea e imboccare l'altra uscita.
Credo che pochi gli darebbero ragione se lui si giustificasse dicendo "sorbole, avevo già iniziato a sterzare di lì".

Per me è tutta una questione di percezione / interpretazione personale; al di là di queste conta solo che l'azione e la non azione sono entrambe delle scelte precise con delle precise conseguenze.
I meccanismi psicologici legati al paradosso del trolley sono un limite molto grosso alle tecnologie automatiche. Se sai che una tecnologia automatica agisce in una determinata maniera, e sei dalla parte sbagliata della situazione, il tuo istinto sarà rabbia e volontà di cambiare la situazione a tuo vantaggio, e chissenefrega del resto.

Per dire che i familiari delle persone investite per salvare il conducente, come nell'esempio, prima o poi potrebbero mettere in atto atti di distruzione di automobili a guida autonoma.

Scenario abbastanza particolare, se si vuole. Ma non è finita qui.

Che l'auto salvi sempre il conducente, ha delle implicazioni sociali, cioè che chi può permettersi di viaggiare su un'auto a guida autonoma ha più possibilità di salvarsi di chi non può permetterselo.

Questo però può portare a una situazione spiacevole, che le persone siano più sicure per strada quanto più hanno disponibilità economica. Sì, è già così, ma con l'auto a guida automatica non si tratterebbe più di un effetto dell'impostazione sociale, ma verrebbe formalizzato come scelta volontaria. Il che porterà sicuramente "gli altri" a chiedere al costruttore: chi diavolo sei tu per decidere della vita delle persone?

E in effetti, è così: tutti i costruttori favoriranno la protezione dei passeggeri, perché nessuno salirebbe su un'auto che, dovendo scegliere, lo sacrificasse; ma nessuno accetterebbe mai di girare per strada con auto, per quanto progettate per evitare incidenti, che, dovendo scegliere, decidessero di uccidere loro. Perché chi diavolo sono, i costruttori, per permettersi di scegliere su un tema così importante?

Dirimere questa problematica è fondamentale per le auto a guida automatica; io, per dire, mi rifiuto di mettere nelle mani di un'azienda privata la scelta tra la vita mia e quella di un'altra persona.

Almeno adesso posso fare affidamento sulla natura umana e sulla sua imperfezione, nel male certo, ma anche nel bene.
Non conoscevo il dilemma del tram posto in questi termini, ma comunque l'avevo già visto posto in questa variante:
(disclaimer: è un pezzo di Saw, non guardate se vi infastidisce il genere)
https://www.youtube.com/watch?v=Z7VT-r3RB-4
E se ne possono fare all'infinito, la versione base è pure troppo semplice e credo che quasi tutti sceglierebbero di uccidere un operaio invece di cinque. Ma la situazione si complica parecchio se ad esempio siete posti di fronte a situazioni molto più tragiche e di cui avete più informazioni:
-cinque adulti vs un bambino?
-dieci anziani malati di cancro vs un bambino?
-tre bambini vs due donne incinte?
-cinque adulti single vs due con famiglia?
-otto single e una coppia marito vs moglie con figli?
-due donne incinte al primo mese vs una al nono?
-vostra mamma vs 10/100/1000 sconosciuti?
-un morto vs dieci gravemente feriti?
-voi stessi morti o feriti gravemente o invalidi permanenti vs una delle opzioni di prima?

C'è da impazzire di brutto!

Oppure, tornando alla macchina, e se si deve scegliere tra due situazioni che non mettono a rischio il guidatore, ma per schivare un bambino che attraversa la strada all'improvviso bisogna virare sul marciapiede e stirare una signora anziana incolpevole?
E se invece un pedone attraversasse regolarmente sulle strisce e il guidatore fosse ubriaco, in quel caso non sarebbe più giusto che fosse lui a doversi schiantare su un palo?
Secondo me il principio di salvaguardare l'autista dovrebbe valere solo se lui è diligente e sono gli altri a commettere imprudenze, ma non se ha torto marcio! Ma il software della macchina come fa a saperlo?
A proposito mi viene in mente "Io robot" dove Will Smith viene salvato a discapito della bambina perché il robot da priorità a lui che è un agente di polizia.
continuo a dire che il problema non si pone nè si può porre nei termini in cui viene messo di solito.

l'unica scelta possibile è che le auto a guida autonoma seguano PEDISSEQUAMENTE il codice della strada.
ci sono i bambini che attraversano dietro la curva cieca? se non sono sulle strisce non posso fare altro che arrotarli.
con che logica posso dire all'auto "schiantati per evitarli"? e se l'auto si butta fuori strada e mette sotto uno che passava di lì e stava, giustamente, sul marciapiede?
in nessun codice della strada è previsto che se ti casca davanti la solita palla con bambino al seguito tu ti metta a fare manovre da circo. freni. e basta. se andavi alla velocità prevista e ti fermi in tempo bene. se lo metti sotto peccato, è stato un incidente.
ugualmente se qualcuno è dove non dovrebbe essere non si può dare la colpa all'auto.
in queste situazioni la capacità di valutazione dell'uomo non può essere sostituita, ed è la ragione per cui anche gli autopiloti aeronautici se c'è una rogna ti sparano una bella luce rossa in faccia e ti dicono "fa' te!".
Volendo essere pignoli: "Se non fate niente, moriranno cinque persone. Se azionate lo scambio, ne morirà una sola, ma sarà stato il vostro intervento diretto a scegliere di farla morire." non è corretto.
In entrambi i casi infatti sarà una nostra azione consapevole (l'azionare o il NON azionare la leva) a causare l'una o l'altra istanziazione di realtà. Quindi il dilemma sarebbe immediatamente risolto: tiro la leva perchè altrimenti causo consapevolmente la morte di cinque persone anzichè una.

Fuori di pignoleria, il concetto che si voleva intendere è comunque chiaro.

Secondo me ha ragione Tizy, il comportamento dovrebbe rispecchiare quello di un umano: fino all'ultimo e più prontamente possibile che mi consentono i miei "riflessi" (umani o robotici)tento una manovra che porti alla salvezza di tutti quanti. Se poi questo implica che perdo il controllo del mezzo perchè ho osato troppo, nessuno penso possa eccepire opposizioni morali.

Il sostenere che l'autopilot "sceglie" di sacrificare l'una o l'altra vita, implica che abbia il tempo materiale di analizzare la situazione, decidere ed agire di conseguenza senza arrivare al limite, che altrettanto logicamente implica che allora non si è trattato di un intervento di emergenza, ma di un intervento previsto e programamto (certo in una scala di tempi inimmaginabile per i riflessi umani)
le auto autonome sanno dove possono e non possono andare e che velocità sono sicure, se vanno in un posto dove possono e
C’è qualcosa sulla loro traiettoria è quello che non deve esserci, pertanto la scelta più logica è investire chi o cosa non è dove dovrebbe essere.
Dispiace ma le regole ci sono per questo, pertanto è opportuno interpretarle anche per dirimere queste situazioni. Comunque la soluzione è prevenire, con sensori di più lunga gittata e senza ‘zone cieche’, certo un margine di imprevedibilità resterà sempre e, in questo caso, occorre salvaguardare chi ha rispettato le regole.
Sul tema è interessante questo "esperimento" realizzato dal MIT -> moralmachine.mit.edu
A mio modo di vedere il parallelo tra il "dilemma del tram" e la guida autonoma é un po' fuorviante.
Mi spiego meglio nel caso del tram c'é un essere umano che nel momento in cui si manifesta la situazione eccezionale in esame prende la decisione (giusta sbagliata emotiva d'istinto ecc) sul da farsi, sul chi o cosa "sacrificare".
Nel caso della guida autonoma c'é un algoritmo, evidentemente sviluppato a priori, che sceglie come comportarsi che manovra eseguire.
Il punto fondamentale é che con la guida autonoma si perde questo potere decisionale cioè la parte umana del sistema (il "conducente") abdica in favore degli automatismi elettronici; la cosa non é un problema (anzi é auspicabile) in tutti i casi di decisioni, anche in condizioni di pericolo, dove non c'é una componente "morale" in gioco dove cioè bisogna scegliere se salvare le capre oppure i cavoli.
In sintesi perdere la facoltà di scelta (nei casi "morali") dell'essere umano é la cosa che lascia basiti e in particolare mi intimorisce,
e invece dare al cliente la possibilità di scegliere l'opzione che preferisce?
Se l'auto (come sarà) rispetta il codice della strada e si comporta in modo prudente vorrà dire che in caso di incidente dall'altra parte qualcuno non ha rispettato il codice della strada o non si è comportato in modo prudente, perciò non vedo perché il conducente dell'auto autonoma debba morire per chi non ha rispettato le regole o non è stato prudente. Oltre questi poi ci saranno casi estremamente particolari e imponderabili che verranno valutati caso per caso.
finalmente adesso trova un senso il mirino posizionato all'inizio del cofano. Cmq, a parte le battute, la maggior parte degli incidenti automobilistici e' dovuta ad errori umani, ne consegue che se si riduce il fattore umano nella guida, non si puo' che migliorare (a meno di non voler progettare delle killer cars).
Di solito non eccepisco sulla forma, ma in questo caso mi pare che il titolo del post sia fuorviante. Non si evince dalle frasi riportate che la priorità di salvataggio sia per il conducente. Semmai per gli occupanti del veicolo (che è un po' diverso). Resta poi il fatto che porsi questioni morali sulla guida assistita necessita la soluzione di un problema molto difficile (forse insuperabile) e lontano nel tempo:quello dei comportamenti imprevedibili che sfuggono a qualsiasi capacità di calcolo e previsione. Porre questioni "etiche" in questo contesto mi pare prematuro e forse anche inutile.
La soluzione al problema del tram è: uno guarda gli altri quattro lavorano
Credo sia auspicabile che questi comportamenti vengano normati, non lasciati alla decisione di case automobilistiche o tecnici di sorta. Tutti i veicoli a guida autonoma dovrebbero aderire alle basilari (alla Asimov) medesime regole. Non mi aspetto che questo avvenga, ma questo non toglie che lo possa auspicare.....
@wiivanil no, ti sbagli, in "io robot" non viene data priorità a will smith perchè agente di polizia, gli viene data priorità perchè il robot aveva calcolato che lui aveva maggior probabilità di sopravvivere dopo il salvataggio, infatti era più facilmente raggiungibile dal robot mentre le auto sprofondavano nel fiume.
A me sembra che ci sia una sorta di campagna che propone dilemmi improbabili.

Paolo cita questo dilemma del tram ma nella realtà chi è sul tram non comanda gli scambi per cui, come anche nei treni, se c'è un ostacolo puoi solo frenare. E' così da sempre e non per questo abbiamo fermato tram e treni.
Inoltre se ci sono delle persone che lavorano sulle linee di solito non si fa passare il tram o si fa in modo che tali incidenti non possano accadere.

Anche l'altro dilemma, l'attraversamento in una curva cieca, sebbene non improbabile, è indice di essere sprovveduti. Se invece della macchina c'è un treno il treno ti travolge ma non per questo abbiamo fermato i treni. Inoltre di solito tu non ce la fai a frenare in una strada extraurbana, dove puoi raggiungere i 90 ma in città i limiti sono più bassi, vai a 50 e a 50, se la curva non è stronza, riesci a frenare. Se poi uno è prudente nella curva rallenta per cui lo può fare anche una macchina a guida autonoma.

L'esempio mostrato su Tom's hardware è ancora più improbabile. Si vede una strada diritta con persone che attraversano su strisce pedonali e un ostacolo. Se ci sono le strisce sicuramente ci sarà un limite di velocità, almeno a 50 se non a 30. PEr cui ce la fai a frenare. Inoltre un ostacolo come quello in immagine dovrebbe essere segnalato altrimenti ci sono responsabilità da parte di chi ce l'ha messo.

Per cui quoto F, Davide Bacchi, Jotar e considero tali situazioni delle mere masturbazioni mentali.

Prima di arrivare a questi estremi sarebbe meglio chiedersi come si comporterebbero queste macchine con le buche, i lavori segnalati male, gli automobilisti indisciplinati, le segnalazioni errate o deteriorate....
Aggiungerei un bel test simulato di queste situazioni improbabili con dei guidatori umani e vediamo cosa succede.
Pivelli
Hal9000 ha già risolto il problema
nel caso di direttive contraddittorie eliminare la fonte della contraddizione.

togliere ossigeno all'abitacolo e stendere i pedoni.
problema risolto.
A mio parere un simile dilemma non dovrebbe nemmeno porsi, specie nel caso ipotetico di un veicolo a conduzione totalmente autonoma.

Nella maggioranza degli incidenti stradali, qualsiasi gravità essi abbiano, c’è un’infrazione al codice della strada; ovviamente fatti salvi i casi imprevedibili come incrociare un’auto che sbanda a 10 metri da me e mi viene addosso, un masso che frana dalla montagna e mi centra in pieno, un paracadutista che mi casca davanti al cofano ecc.

La norma basilare del Codice della strada, e credo valida in ogni Stato, e:
Il conducente di un veicolo deve adottare una condotta di guida prudente, adattandola alle condizioni della strada, della visibilità, del traffico esistente”.

Ciò vuol dire che in presenza di una curva cieca con visibilità di 30 metri la condotta di guida del veicolo deve permetterne l’arresto completo in 29 metri in modo da evitare ogni collisione contro un qualsiasi ostacolo non visibile ma comunque possibile e pertanto prevedibile.

Credo questo sia molto più facile da ottenere con veicoli autonomi in modo automatico con radar, sonar, Gran Rilevatore di Curve ecc. che con la guida umana; oltre allo scambio di info tra veicoli omogenei.

Dato che l’ostacolo può essere però sia un gruppo di bambini, sia un pedone a terra per malore, sia un masso precedentemente caduto sulla carreggiata ostruendola completamente, la generica raccomandazione di tenere una condotta di guida adeguata dovrà valere comunque, anche nel caso ipotetico futuro che tutti i veicoli siano a condotta totalmente autonoma e coordinati tra di loro. Dopo una curva cieca potrà sempre esserci un masso ribelle a ostruire la strada. O un ragazzino con il suo cane … perché ci sarà sempre un ragazzino con il suo cane, vero?

A meno di inserire un chip Rfid in ogni masso. E in ogni ragazzino. E in ogni cane.


A proposito di bambini il Codice della strada prevede che la loro presenza (e varie sentenze lo hanno ribadito) anche in caso di piena visibilità e su strada rettilinea equivalga a un semaforo giallo lampeggiante, cioè a un “segnale di pericolo generico”.


Concludo ribadendo che il dilemma mi sembra molto sciocco: si attribuisce a un software la capacità di discernere, di scegliere tra due situazioni la meno peggio ma non gli si permette o non si contempla la possibilità di intervento per prevenire ed evitare una situazione di potenziale pericolo?
Non è implementata l’opzione “Prudenza”?
È un software che consente al veicolo di imboccare una curva cieca a velocità elevata?
Un software che non contempla la funzione “frena” e poi “fermati” in presenza di un gruppo di bambini sulla carreggiata?

Messa in questi termini sarebbe una cosa un po’ troppo scema - diciamo che il tizio forse si salva dicendo poi che il 99% del nostro lavoro tecnico consiste nel prevenire in partenza queste situazioni.
@ wiivanil:

non so se nella versione proiettata al leoncavallo il robot salvasse Will Smith perchè era una guardia, ma nella versione originale viene detto chiaramente che il robot salvò lui perchè aveva calcolato che avesse più possibilità di sopravvivere e nonostante Smith gli stesse dicendo di salvare la bambina.
il che, nella logica, è completamente condivisibile: se tiro fuori lui probabilmente avrò salvato una vita, se tiro fuori la bambina probabilmente moriranno in due.
A me tutto questo discorso ha fatto tornare in mente il prologo del film "Io, Robot".

Riassumo alla buona la situazione: il protagonista e un'altra persona hanno un incidente d'auto, finiscono in un fiume e le auto affondano; il protagonista è vivo ma è intrappolato nell'auto, il guidatore dell'altra è morto sul colpo ma sul sedile passeggero c'è una bambina ancora viva.

Sul posto arriva un robot umanoide dotato di IA, il quale calcola che le chances di sopravvivenza del protagonista sono parecchio più alte rispetto a quelle della bambina (vado a memoria, mi pare 45% contro 11%). Il robot sfonda il finestrino dell'auto del protagonista e lo salva, la bimba invece muore affogata.

Secondo il robot, quella era la scelta più logica; secondo l'umano, però, "per chi amava quella bambina, l'11% era più che sufficiente".

Sostituite il robot con un'auto. Poi sostituitelo con voi. Tosta, eh?
È semplicemente agghiacciante.

Tutta la vostra la dicussione parte da una premessa che viene data per vera invece è falsa: cioè che l'auto sia perfettamente in grado di capire la situazione. Invece non è così, come insegna l'incidente della Tesla che ha confuso un camion di traverso nella strada per un cartellone di indicazioni stradali e ha provato a passarci sotto. Dunque il paragone del tram è completamente sbagliato.

Ecco l'esempio giusto. «Supponiamo che dietro una curva cieca vi sia un bambino in mezzo alla strada, e che sull'altra corsia vi sia un kangoo giallo, e che sia notte ; l'auto automatica , non vedendo una cicca, decide che il kangoo è uno scuolabus e allora, per non far male a fantomatici bambini nello scuolabus (e al proprio conducente), investe di brutto il bambino e lo ammazza.»

Questo è contrario alla attuale situazione. La reazione di un essere umano alla guida è sempre quella di cercare di evitare il bambino. (O magari il cane ... io so per esperienza diretta di guidatori che sono morti nel tentativo).

Invece l'auto automatica viene programmata per "nel dubbio, salvare il conducente" ... come se l'auto avesse la capacità etica e sensoriale di poter decidere.

Come dicevo, terribilmente agghiacciante.

Se non siete d'accordo con me, provate a pensarla in questo modo: che il bambino morto sia vostro figlio, e che voi sappiate , per esplicita ammissione dei costruttori, che l'auto può avere deliberatamente deciso di ammazzarlo, magari senza un vero motivo, magari solo per una supposizione non confermabile scaturita dai suoi algoritmi.
Mi paiono dilemmi insensati perché nessuno mai nell'azione agisce di ragionamento ma solo d'istinto, e l'istinto è di "fare qualcosa". Se sto per investire una persona e so me molto probabilmente frenando la macchina sbanderà rischiando di investirne a decine, in tutti i modi l'istinto ti impone ti frenare. Proporre sotto forma di quesiti morali queste situazione non solo è assurdo, ma pure ipocrita.
Il dilemma del tram si pone continuamente nella situazione reale. Per esempio ricordo che alcuni decenni fa in occasione di un eruzione dell'Etna la Protezione Civile decise di deviare il flusso di lava per proteggere un paese. Ma facendo questo danneggiò terreni che altrimenti si sarebbero salvati. Il proprietario, se non ricordo male, ricevette un corposo indennizzo.

Penso siano problemi tipici di quando un'innovazione tecnologica viene introdotta. Adesso sembra chissà che, ma presto non ci farà più caso nessuno.
Non ho mai creduto che le auto con il pilota automatico potessero diventare realtà. Ho sempre pensato che l'uomo, evolvendo, diventasse più logico e assennato, migliorando i trasporti pubblici anziché spersonalizzare un mezzo come l'automobile.

Già. Sono un petrolhead, lo ammetto. Ma salire su un auto senza il piacere di poterla guidare... meglio il divano. E questo vale anche per la stragrande maggioranza delle auto moderne. Ottime, confortevoli, sicure, con centinaia di cavalli e millemila controlli che li tengono a bada... ma senza "personalità". E lo dico da possessore di una di queste auto. Sì, gran mezzo, ma... il piacere di guida è tutt'altro.

Ma ammettiamo che in un futuro lontano, ci si ritrovi con un mondo alla Minority Report: auto che sfrecciano nelle 3 dimensioni a totale controllo computerizzato... e le moto? E la vecchia Ferrari "La Ferrari" ereditata dal bisnonno?

Non so. Ho come la sensazione che il mondo dell'auto sia sempre meno pioneristico e sempre più omologato. "Li vuoi 300 cavalli sul tuo SW? Bene. Eccoli. Assieme ad un bel pacchetto di controlli elettronici per evitarti di spalmarti sul primo guard rail appena esci da qua."

Dico questo perché penso che l'ingeneria meccanica, specificatamente quella applicata al mondo dei motori, sia un grande patrimonio umano da preservare. Probabilmente il futuro sarà elettrico, ma mi fa pensare che uno dei primi sintomi/precursori di un Paese emergente sia proprio la motorizzazione di massa. Vero che essa può anche avvenire con auto con pilota automatico, ma è piu un parlare del concetto di essere liberi di andare dove si vuole, non dove decide il navigatore.

A volte il tragitto è la parte migliore di un viaggio. Anche più bello della meta raggiunta. Spesso perché lo guidiamo in prima persona.

So che il prezzo da pagare è alto e si rischia la vita, propria e altrui. Ma fa parte della vita stessa il "rischiare" di guidare un mezzo a motore. Fa parte di quella piccola conquista di uno scampolo di libertà quotidiana. Fa parte di un piacere.

Togliere tutto questo fa diventare pendolari a tempo pieno, passeggeri inerti delle proprie automobili, automi alla mercé di un automa dall'intelligenza superiore messa sotto la forma di varie centraline sparse nell'auto...

Boh... se ne avessi la possibilità, mi piacerebbe un giorno potermi comprare un'auto "dumb". Di quelle dove l'unica parte elettrica è quella che porta corrente alle candele e a poco altro. E andarci a fare i giretti ignorantissimi con la "marmitta scureggiata", prima che sia troppo tardi e me la mettano fuorilegge...
Dopo questo intervento, nel mio mondo motoristico stupidocagnesco, si è materializzata una storiella che vorrei condividere con voi.

Mettiamo il caso che fra una ventina di anni tutte le auto saranno smart ed interconnesse. Dal punto di vista della sicurezza credo sarebbe ottimale. Magari con delle colonnine a bordo strada alle quali interfacciarsi in tempo reale per aggiornamenti su viabilità, meteo, lavori, ecc.

Un Nirvana per la sicurezza attiva e passiva.

Ma il traffico? Se tutte le auto sono interconnesse, comunicheranno tra loro. E che si diranno mai?

Lunedì mattina. A4 direzione Milano. Migliaia di mezzi a velocità costante. Nessuno che si attacca al culo dell'auto. Nessuno che sfanala. Tutti tranquilli e beati a distanza di sicurezza invariata, come un docile ruscello motorizzato.

Ad un tratto il cervello elettronico di un'auto fa: "Ragazzi... ho fatto due conti: se arriviamo alla barriera così come stiamo, ci si intruppa tutti. Chi va sulla statale?"

Seguono frenetici millisecondi per decidere le priorità di tempo tra i mezzi ed una buona metà mette la freccia per uscire.

Al che quelle già sulla statale rispondono "Uè, qua siamo già al limite. Se arrivate anche voi qui ci si ammucchia".

"Vabbè. Tangenziale? Nessuno?"

"Qui tangenziale. Stanno asfaltando e ci stiamo sparpagliando per i campi. Qualcuno ha pure perso il segnale GPS e si è fermato. Se volete vi mandiamo un po' di registrazioni delle madonne che stanno tirando giù i proprietari. Per farvi quattro risate."


"No grazie. Qua diventa critica."
"Dove si va allora?" dice qualcuno dalla settima corsia della A4.

"Rallentiamo!" Dice un'ansiosa berlina a corto di carburante "Così diamo tempo a quelle davanti di passare la barriera".

Ma tra quelle dietro una salta su subito "Col me stesso" dice un Citroën Cactus XV. "Devo portare i sacchi di carne al lavoro, zero storie. Siamo pure leggermente in ritardo. Dai te, Audi li davanti, dai un po' di corrente ai circuiti dell'acceleratore"
"Ma che vuoi?"
"Adesso ti suono"
"Non puoi. Non è permesso"
"Ma ora sai che volevo farlo. Ciapa e porta a casa"
"Spetta un attimo che ne approfitto per pulire il FAP"
"ARGH COFF SPUT!!! MA SEI SCEMO? MI INTASI I FILTRI CHE CI DEVO FARE ANCORA 10.000 KM"
"Avete i filtri di cartone voi francesi..."
"Ma pensa te sto crucco di m"

La situazione degenera. Per un secondo e mezzo volano i peggiori insulti verso schede madri altrui. Qualcuno spruzza i vetri per dispetto e, come risultato, per chilometri e chilometri le centraline dei tergicristalli delle auto dietro sono costrette a fare altrettanto. Qualcuno si azzarda persino a minacciare di disinserirsi e lasciare che sia il conducente a guidare. Ipotesi subito accantonata con la minaccia di essere segnalati all'assistenza di controllare approfonditamente l'hardware con sonde molto intrusive.

Giorgio sta leggendo la Gazza, seduto al posto di guida della sua commuter. "Che ppalle. Per fortuna ormai manca poco. Viaggio noioso come al solit... perché esce qua? Mapporc..."

Partono i tergicristalli.

Fine.
[by Faber vecchio]

Fx
l'azione e la non azione sono entrambe delle scelte precise con delle precise conseguenze.

Infatti.
[by Faber vecchio]

F
l'unica scelta possibile è che le auto a guida autonoma seguano PEDISSEQUAMENTE il codice della strada.
ci sono i bambini che attraversano dietro la curva cieca? se non sono sulle strisce non posso fare altro che arrotarli.


Codesto, purtroppo, è un equivoco diffusissimo.
In realtà, se rispetti il codice della strada, specificatamente gli onnicomprensivi articoli 140 e 141, arresti il veicolo prima di toccare i bambini in mezzo alla strada (specialmente l'arresto tempestivo del veicolo entro i limiti del suo campo di visibilità e dinanzi a qualsiasi ostacolo prevedibile: il 141 mi ha evitato almeno due volte di tamponare veicoli fermi in curva).
Morti e feriti sulle strade sono causati (quasi) esclusivamente dal comportamento dei guidatori: nel mondo non reale, domani mattina potremmo evitare nove decimi degli attuali morti.
[by Faber vecchio]

Jotar
non vedo perché il conducente dell'auto autonoma debba morire per chi non ha rispettato le regole o non è stato prudente.

Non è così semplice: di solito, chi non ha rispettato le regole mette in pericolo la tua vita e quella delle persone a cui vai addosso per schivare il delinquente (o non è stato prudente è pleonastico: le regole impongono di essere prudenti, l'imprudenza è già una violazione).
Non moriresti per lui, ma per i dieci bambini che aspettano lo scuolabus sul marciapiede dove dovresti salire per evitare il frontale, per esempio.
L'auto autonoma, rispettosa del codice della strada, dovrebbe affrontare lo stesso "dilemma".
Uso le virgolette, perché in realtà non è un dilemma: la comprerei solo se fossi certo che tutelerebbe me, a costo di stirare i dieci bambini sul marciapiede.

P.S. al commento precedente: abbasserei di 20 chilometri orari i limiti massimi di velocità previsti dall'articolo 142, primo comma, del codice della strada (adeguamenti negli altri commi), con spiegamento di auto civetta e autovelox volanti e revoca della patente e confisca del veicolo per chi li supera di oltre 10 chilometri orari.
Impossibile, in Italia.
Infatti, Berlusconi, Renzi e tutti gli altri sono effetti di questo elettorato.
[by Faber vecchio]

Mars4ever
E se invece un pedone attraversasse regolarmente sulle strisce e il guidatore fosse ubriaco

Sensori di alcolemia al posto di guida (campa cavallo), limitazione automatica della velocità in funzione di segnaletica e visibilità, sensori per distanza e ingombri sulla carreggiata, frenata automatica.
Il problema del carrello ferroviario non ha una soluzione univoca. Anzi, è usato spesso per mettere alla prova quanti e quali elementi influiscono sulle nostre scelte etiche, morali e pratiche.

--

Lode a Stupidocane perché è simile a me su certe cose. Spesso il percorso è la parte più bella di un viaggio. L'auto a guida automatica è utile, ma finirà che ci chiederanno di rinunciare alla guida umana. Per che cosa? Per avere più tempo per guardare Facebook? O per avere il tempo di configurare da remoto il bollitore dell'acqua?
"Lunedì mattina. A4 direzione Milano. Migliaia di mezzi a velocità costante. Nessuno che si attacca al culo dell'auto. Nessuno che sfanala(....)"

Non male, SC
:)
Il test dell'auto di cui si parla prevede lo scenario in cui l'auto automatica ha i freni rotti, perciò può solo sterzare. Sottintendendo che senza guasto ai freni l'auto non provocherebbe alcun incidente.
Con i freni rotti, la colpa dell'incidente è dell'auto che provocherà delle morti innocenti, ma chi? gli occupanti che pure sono innocenti, oppure i passanti?
Non molto tempo fa successe proprio questo a un pullman pieno di ragazzi: in autostrada improvvisamente l'autista vide la coda di macchina ma non riuscì a frenare perché i freni erano rotti, allora si spostò sulla corsia di emergenza verso il guard rail esterno cercando di frenare facendo attrito sul guard rail. Purtroppo dopo poco aver iniziato questa manovra incontrò un ponte, senza corsia di emergenza, perciò inevitabilmente colpì le auto ferme in coda e alla fine nell'impatto scavalcò il guard-rail e precipitò di sotto.
@Faber:

la mancanza assoluta di incidenti sarebbe possibile SE e SOLO SE TUTTO quello che tocca una strada seguisse il codice.
in realtà questo non è possibile nella pratica.
ed il cds 141 è un esempio della fuffa di cui è pieno il codice della strada.
ovunque ci siano auto parcheggiate a bordo strada c'è la possibilità del classico bambino con palla che esce tra una e l'altra.
se vuoi essere ligio al 141 comma 3 devi andare ad una velocità non superiore ai 15kmh, per ovvie ragioni di fisica: considera che a 15 kmh col tempo di reazione standard di 1 secondo hai già comunque percorso 5 metri, che sono normalmente più di quelli che ti separano dalle auto parcheggiate. a questo punto interviene lo spazio di arresto, che se vogliamo possiamo azzerare per semplicità (ma ti ricordo che normalmente sotto i 20kmh l'abs non interviene, quindi ruote bloccate ed almeno 1 metro e mezzo lo percorri.)
conclusine, anche a 15 kmh se ti sbuca un bambino sul muso lo metti sotto. e la possibilità che non ci resti secco dipende solo dal fatto che non batta la testa (i danni di un impatto a 15 kmh possono essere considerati "modesti", ma c'è gente che è morta battendo la testa cadendo stando ferma in piedi...)
naturalmente andare a 15kmh in ogni strada con auto ai margini va in conflitto col comma 6 dello stesso articolo.

quindi il punto è: ci sarà sempre chi non rispetta il cds, anche semplicemente perchè non lo conosce (il bambino, ma anche, per dire, il ciclista: se non è necessaria una patente significa che io sono autorizzato a prendere il "mezzo" ed usarlo, anche senza avere idea di cosa sia un semaforo, un segnale, una striscia... ).
ma in nessun caso si potrà dare la colpa al conducente, all'auto o si potrà pretendere che qualcuno si schianti volontariamente per porre rimedio alle mancanze altrui.
E se fosse che la guida potrà essere sempre più assistita ma mai automatica ? Alla fine non è il problema del test di Tuning o dei traduttori automatici dove serve una scelta soggettiva umana? Vero, in caso simile un uomo non sceglie ma agisce di istinto magari sbagliando. Una auto invece può rispettare parametri imposti. Però in effetti la responsabilità di una simile scelta deve essere umana.
Che dire...mi sento solo di citare questo:

1 - Un robot non può recar danno a un essere umano né può permettere che, a causa del proprio mancato intervento, un essere umano riceva danno.

1 - Un robot deve obbedire agli ordini impartiti dagli esseri umani, purché tali ordini non contravvengano alla Prima Legge.

1 - Un robot deve proteggere la propria esistenza, purché questa autodifesa non contrasti con la Prima o con la Seconda Legge. »
[by Faber vecchio]

F
@Faber:
la mancanza assoluta di incidenti sarebbe possibile SE e SOLO SE TUTTO quello che tocca una strada seguisse il codice
eccetera

Una curiosità: perché dedichi a me la replica ad affermazioni che non ho fatto?
@Simone
Sul tema è interessante questo "esperimento" realizzato dal MIT -> moralmachine.mit.edu

Molto interessante, grazie!
Il problema è che qualunque risposta dai, la coscienza un po' sporca la senti;)