skip to main | skip to sidebar
11 commenti

Le parole di Internet: adversarial attack

Fonte: Wired.
Noi abbiamo le illusioni ottiche, i computer hanno gli adversarial attack: è questa l’espressione che indica in informatica un contenuto (un’immagine, un video, un suono o un malware) che noi riconosciamo senza problemi ma confonde i sistemi di riconoscimento automatico. 

L’immagine qui accanto, per esempio, viene riconosciuta dalle persone senza alcun problema: sono due uomini in piedi, su una distesa innevata, in posa mentre sciano. Ma il sistema di riconoscimento delle immagini Google Cloud Vision, spiega Wired, lo ha identificato con il 91% di certezza come un cane.

Trovate altri esempi qui: è particolarmente notevole il gatto scambiato per del guacamole. E se volete quelli acustici, divertitevi qui.

È insomma chiaro che i sistemi di riconoscimento automatico per ora “pensano“ in maniera molto diversa dagli esseri umani: non avendo conoscenza del mondo fisico, ragionano soltanto sui pixel e non possono valutare cose come il contesto o la plausibilità di un’immagine o di un suono.
Invia un commento
I commenti non appaiono subito, devono essere tutti approvati manualmente da un moderatore a sua discrezione: è scomodo, ma è necessario per mantenere la qualità dei commenti e tenere a bada scocciatori, spammer, troll e stupidi.
Inviando un commento date il vostro consenso alla sua pubblicazione, qui e/o altrove.
Maggiori informazioni riguardanti regole e utilizzo dei commenti sono reperibili nella sezione apposita.
NOTA BENE. L'area sottostante per l'invio dei commenti non è contenuta in questa pagina ma è un iframe, cioè una finestra su una pagina di Blogger esterna a questo blog. Ciò significa che dovete assicurarvi che non venga bloccata da estensioni del vostro browser (tipo quelle che eliminano le pubblicità) e/o da altri programmi di protezione antimalware (tipo Kaspersky). Inoltre è necessario che sia permesso accettare i cookie da terze parti (informativa sulla privacy a riguardo).
Commenti
Commenti (11)
Il problema è che queste neural networks sono usate anche nella guida autonoma, e (come è successo negli ultimi mesi) scambiano uno spartitraffico cemento per una segnaletica orizzontale , o una donna che attraversa la strada per un "falso positivo" ; e qualcuno ci rimette la vita
Dovreste vedere i referti automatici degli ECG o gli improbabili allarmi aritmia/asistolia dei monitor multiparametrici. Nell'ultimo caso il problema è l' "alarm fatigue"...
A quanto pare, queste "intelligenze" artificiali più stupide della polvere sono in grado di distinguere solo gatti! Mettiamoci il cuore in pace: nessuna macchina riuscirà mai a pensare al posto nostro, e prima ce ne rendiamo conto meglio è - prima, comunque, che lo stillicidio di incidenti (come appunto quelli delle auto a guida autonoma) diventi una vera e propria strage.
Risposta ad A M: Gli incidenti a cui ti riferisci sono stati causati da:
1) L'uso sconsiderato di un assistente alla guida che NON É un congegno di guida autonoma (nonostante la Tesla si ostini a chiamarlo "Autopilot" anteponendo il marketing alla sicurezza), e il cui scopo non è quello di guidare al posto dell'uomo ma solo coadiuvarlo;
2) Dalla sconsiderata manomissione degli algoritmi di riconoscimento "troppo restrittivi", a detta di Uber, che generavano troppi falsi positivi. Dopo tali modifiche, prima di fare i test su strade pubbliche, oltretutto di notte, si devono fare MILIONI di km in condizioni controllate
Bé, un momento.

Magari quei due Signori a sciare sono dei cani...
Vedo delle percentuali ma non degli errori a tali valori. Se gli errori sono ampi non ci sarebbe da stupirsi che se Snow avesse percentuale minore ma anche incertezza minore.
Oltre a ciò e che è più complicato che fare un debug di un programma (le reti neurali non sono programmate, ma addestrate, di per sé non funzionano algoritmicamente; anche se spesso si parla impropriamente di algoritmi, l'algoritmo è quello che simula una rete neurale artificiale, non la rete stessa), c'è il problema che lo sviluppo delle AI spesso non è molto rigoroso, con un approccio del tipo: «be', funziona, non so perché, comunque funziona». Ben Recht fa pure paragoni con l'alchimia, per illustrare i problemi degli approcci che ci sono:
http://www.argmin.net/2017/12/05/kitchen-sinks/

Insomma si finisce con AI che in generale funzionano, ma a volte fanno cose "strane". Un esempio è un husky confuso per un lupo. Qualcuno dirà: «be', ok, ci sono delle somiglianze, potremmo addestrare di più e...». Invece si è voluto verificare, facendo in modo che l'AI mostrasse cosa usava per l'identificazione. Qualcuno penserà al muso, il pelo, gli occhi... No, era la neve intorno ad esso.
https://www.cambridgeconsultants.com/insights/explain-yourself-machine
«This indicates that the algorithm has been poorly trained using a biased dataset of images of wolves taken in the snow. What the authors created was an effective snow classifier – not a husky-wolf classifier»

Ora, finché si tratta di riconoscere immagini e l'AI si confonde in certe circostanze, è un conto, quando c'è di mezzo la vita di qualcuno, dalla sanità alla guida autonoma, è un'altra storia.
Io sarei molto contenta di avere un'auto autonoma, penso che alla fine ridurranno gli incidenti, ma si può comunque avere un approccio migliore nello sviluppo, la cui sicurezza dovrebbe essere prioritaria rispetto alle logiche di fare in fretta, magari prima della concorrenza o per paura di venire tagliati fuori dal mercato.
Nel caso di Uber e l'incidente con la donna che attraversava la strada, al di là di tutte le attenuanti (buio per le telecamere, donna vestita di scuro e con bici senza catarifrangente, che attraversa dove non deve, senza guardare, chi controllava non stava guardando la strada in quel mentre, ecc) c'è da dire che Uber, non è nuova ad agire in modi che le hanno causato problemi legali, a me sembra che tendano a bruciare le tappe, e in questo caso avevano disabilitato il sistema di frenata d'emergenza, che dicevano provocasse comportamenti "irregolari", da quel che ricordo, e mancavano avvisi sonori o acustici per chi controllava, ecc. Non prenderei Uber a paradigma dello sviluppo della guida autonoma e ho qualche dubbio anche su Tesla, che ha chiamato il suo sistema di guida in modo un po' fuorviante "autopilot", tra l'altro. Waymo forse è più prudente.
AM "una donna che attraversa la strada per un "falso positivo" ; e qualcuno ci rimette la vita"

In realtà, secondo i risultati dell'inchiesta NTSB, le telecamere di bordo avevano rilevato la presenza di un oggetto, interpretandolo prima per un pedone, poi per un oggetto ignoto, poi per un'auto e infine per una bici. A 1.3 sec dall'impatto il software ha comunque richiesto una frenata di emergenza, che però era stata disabilitata da Uber quando il veicolo era sotto il controllo del software di Uber (e non di quello della Volvo).

Va anche considerato che sotto controllo "manuale" può avvenire la stessa cosa: anche escludendo la distrazione non sono pochi i casi in cui la "mente" umana prende fischi per fiaschi nell'analizzare lo scenario antistante. Succede per esempio nella sottovalutazione sistematica di velocità e distanza delle moto.

E qualcuno ci rimette la vita...
the vigilance required to use the software, such as keeping both hands on the wheel and constantly monitoring the system for malfunctions or abnormal behaviour, arguably requires significantly more attention than just driving the vehicle normally without use of Autopilot.


Adesso lo dice anche uno che lo ha e lo usa, o lo usava.
Direi che non posso essere più considerato un volgare oscurantista.

Furthermore, I believe that if Autopilot even has the small potential of misreading a clearly marked gore point, and has the potential to drive into a gore point and crash into a barrier, it should not be tested in beta, on the open road, and by normal consumers.

Anche questo mi pareva ovvio, ma evidentemente al "visionario" Musk no.
Va ricordato che le AI più si allenano e più migliorano i risultati. Siamo agli inizi con ampi margini di miglioramento. Con il tempo potranno diventare parti integranti della nostra vita.
Quindi, se ho ben capito, la base di tutto è mostrare quante più "combinazioni" possibili alla AI. Esempio se per i cani mostrerò sempre e solo foto di san bernardo è probabile che un chiuaua (o come si scrive) venga preso per un topo. Mi chiedo i software o le reti hanno un margine di errore su cui basarsi e arrivare a conclusioni? Ovveroconsiderano il "sembra" come possibilità? In fondo noi ragioniamo così, ma con a monte anni e anni di cintinue osservazioni di ciò che ci circonda. Perché freniamo se vediamo un bambino a bordo strada? Perché sappuamo che forse il bambino potrebbe mettersi in mezzo alla strada. Un software non lo sa a priori. Vede una figura a bordo strada. Potrebbe clasdificarla come pedone bambino. Ma potrebbe ipotizzare cosa farà o si ferma all'informazione statica?