Caro Diario, te lo ricordi? Della lettera aperta promossa dal Future of Life Institute contro la possibilità di creare armi capaci di prendere autonomamente la decisione di uccidere, quella resa nota nel corso dell’International Joint Conference on Artificial Intelligence di Buenos Aires il 28 Luglio di quest’anno ti avevo raccontato qui. Aggiungendo che l’avevo firmata anche io non solo perché ne condividevo l’approccio etico e l’utilità ma anche  per una questione di consapevolezza, perché insomma «sono convinto che l’uso di qualunque tecnologia abbia bisogno di un atto di consapevolezza individuale, di un’assunzione di responsabilità che in nessun caso – meno che mai di fronte alla decisione di uccidere – può essere delegata a una macchina, per quanto intelligente essa possa essere.» 

Tutto questo è accaduto il 31 Agosto 2015.
Due mesi e qualche giorno dopo, ieri per la precisione, al ritorno da un bella discussione sulla solidarietà digitale promossa da Techsoup alla Scuola Politecnica e delle Scienze di Base dell’Università di Napoli, ho incontrato Luigi Glielmo, prof. di automatica all’Università del Sannio del quale qualche tempo fa ho raccontato qui presentando il progetto i3RES e siamo finiti a parlare proprio dell’iniziativa di Stephen Hawking, di Noam Chomsky e dell’esercito di scienziati e non che li ha seguiti. Luigi mi ha chiesto il link, ha letto la petizione e poi mi ha detto «bellissima iniziativa Vincenzo, ma come si fa a fare concretamente quello che i firmatari della lettera aperta chiedono di fare?».

Bella domanda. La prima cosa che mi è venuta in mente è stata «prima di decidere l’arma in questione deve chiedere l’autorizzazione a qualcuno», però Luigi ha sorriso, e io pure, e così abbiamo cominciato a fare a gara con le domande successive: «chi è questo qualcuno a cui chiedere?»; «è pensabile che possa farlo senza a propria volta essere autorizzato da qualche altro?»; «in che modo potrebbe farlo nei tempi necessari a prendere decisioni di questo tipo?»; ma soprattutto «chi lo dice che un essere umano sarebbe in grado di prendere una decisione del genere secondo criteri di razionalità, imparzialità, obiettività, giustizia migliori di quelli di una macchina?».

Perché si, noi possiamo anche fare il tifo a prescindere per l’uomo rispetto alla macchina – a me per esempio accade -, ma non è detto mica che sia la scelta migliore. Vogliamo fare un esempio un po’ romantico e un po’ fantascientifico? “Basterebbe” vietare agli esseri umani l’uso delle armi e programmare i soldati artificiali e intelligenti rispettando le tre leggi della robotica di Asimov e  di sicuro non ci sarebbe nessuno che fa irruzione in qualche scuola o università e ammazza decine di persone senza alcuna ragione plausibile.
Come dici amico Diario? Se ho tutti questi dubbi perché ho firmato la lettera aperta? Sempre per le ragioni che ho detto prima. E aggiungo che la firmerei ancora perché la questione etica e di senso che la suddetta lettera propone mi è sembrata e mi sembra prioritaria rispetto a ogni altra considerazione.

La discussione con il prof. Glielmo ha però fatto venire fuori l’esigenza di provare a fare concretamente un passo ulteriore. Ancora un volta cosa vuol dire concretamente? Per ora quattro cose.
La prima: da oggi #lavorobenfatto ha anche uno spazio dedicata a questa discussione. L’obiettivo? Cominciare a rispondere da tutti i punti di vista, da tutte le competenze e le conoscenze possibili, alla domanda impossibile: «come si fa a fare concretamente quello che i sottoscrittori della lettera appello chiedono di fare».
La seconda: organizzaremo presto una discussione live, magari all’Università del Sannio, per fare il punto di quello che ci siamo raccontati qui e per lanciare ulteriori domande, temi, spunti di discussione.
La terza: uno spazio importante nella discussione possono averlo i nostri studenti, personalmente ho cominciato già ieri sera a parlarene durante il corso di Formazione e Cultura Digitale della prof. D’Ambrosio al Suor Orsola Benincasa, e mercoledì prossimo ci provo con i ragazzi della seconda e della terza ITI Galileo Ferraris di Scampia che con i loro prof. Nicola Cotugno e Mariateresa Turtoro stanno lavorando al video gioco che fa parte del progetto Uomini e Macchine. 
La quarta: che ciascuno di noi può pensare, organizzare, inventare qualcosa, perché la domanda sta lì e tutti possono pensarci e contribuire alla nostra ricerca. Buona partecipazione.

Raffaele Di Lorenzo
A diciassette anni cominciai a guidare la 126 bianca del mio papà, «a patto – diceva – di girare solo all’interno della stradina di casa nostra». Non sto a dire quanto rispettai quel patto (per inciso, avevo la fidanzatina a tre chilometri da casa) ma di sicuro mi servì per arrivare all’esame della patente con una certa disinvoltura. Durante, però, tutto il periodo di training, l’indicazione che mi fece fare il salto di qualità nel guidare l’automobile mi fu data dal mio amico Ciro (che andava in giro con la sua 2cv già da tre anni): «non devi farti portare dall’auto, sei tu che la devi guidare!» – mi disse. Mi sembrò subito familiare il concetto, intuitivo, ma non lo comprendevo a fondo, sapevo di cosa stava parlando ma non riuscivo ad andare oltre a quella frase apparentemente paradossale. Col tempo, ascoltando i giri del motore, la risposta dello sterzo, il grip sulla strada, prendevo sempre più confidenza col mezzo, cominciando così a “guidarlo”. Ancora più tardi, ho capito che quella frase aveva qualcosa a che fare con i processi di apprendimento, la memoria procedurale, l’interazione uomo macchina,  i pensieri lenti e veloci (per dirla alla Kahneman), la padronanza, la cognizione.
Voi adesso direte: che c’entra tutto ciò con la petizione firmata da Hawking, Chomsky ecc. e con la domanda posta dal prof. Glielmo? Cerco di arrivare velocemente al dunque: il contrario di cognizione è ignoranza e il contrario di cognizione di causa è avventatezza, dissennatezza, insensatezza, sventatezza. E la 126 bianca del mio papà? Quello era un mezzo quasi completamente meccanico, invece un’arma di generazione AI ha poco di meccanico e non ha momenti di interazione diretta con l’uomo poiché è già informata, informatizzata e genera autonomamente nuove informazioni. Allora secondo me ci vuole un “Ciro”, uno che ne sappia, che ne abbia esperienza e che possa condividerla, questa esperienza, valutando pro e contro. Per fare questo bisogna cominciare dal basso e sostenere chi padroneggia la robotica e l’AI, chi non è capace di azioni avventate, poiché ha maturato conoscenza, perché è parte del processo di “creazione”. Per questo motivo, sostenere i “Ciro” attraverso la petizione è a mio avviso un buon punto di partenza.

Francesco Escalona
Ciao Vincenzo, provo a sintetizzare la mia idea un pò complessa sull’argomento «produzione di macchine con licenza di uccidere» in poco più di una battuta per dire che secondo me il problema è che con le “macchine intelligenti”, ulteriore “rivoluzione tecnologica indispensabile e inarrestabile”, non si scherza, come del resto è già accaduto con le armi nucleari. Ovvero: i robot sono per noi umani delle prolunghe della nostra possibilità di agire. nel bene e nel male. Certo. Ci sono e ci saranno sempre decisioni degli umani, alla base della loro programmazione, ma la loro potenza renderà qualunque errore micidiale. L’errore umano, nella storia, ha già causato immensi disastri. Ma un errore esaltato dalla efficienza di queste prolunghe, violente e deficienti, potrebbe generare catastrofi inimmaginabili. Quindi, in relazione a ogni decisione su questo argomento, a mio avviso dovremo essere molto cauti. E restare umani.

Gabriele Oliva
Buongiorno Vincenzo, Mi ricollego a quanto detto da Luigi Glielmo e da Valerio Pellegrini. Lo sviluppo di sistemi di intelligenza artificiale pone questioni di vita e di morte anche in scenari non necessariamente militari. Immaginiamo ad esempio di essere un camionista che si accorge di avere i freni in avaria di fronte ad un bivio. Ci accorgiamo che se sterzassimo a sinistra investiremmo un passante, mentre sterzando a destra coinvolgeremmo cinque bambini (si tratta del celebre Trolley Problem molto studiato in etica). Che fare? E cosa farebbe un “camionista artificiale”? Portiamo questo ragionamento alle sue più estreme conseguenze: è etico progettare una self-driving car che protegga la vita del proprio passeggero in ogni caso? O non è invece più etico che l’intelligenza artificiale capisca in quali situazioni privilegiare la sopravvivenza dei passanti che possono essere investiti, sacrificando il passeggero in nome del male minore? Salireste su una macchina del genere? Come gestire queste situazioni e rispettare lo spirito della petizione? Segnalo a questo proposito questo interessante articolo in cui si teorizzano tre requisiti fondamentali di un algoritmo “etico” di guida autonoma: essere “consistent” ovvero affidabile e prevedibile in ogni situazione, non causare danni e non scoraggiare gli acquirenti. La mia opinione è che questi requisiti sono una coperta troppo corta, e che non siamo ancora riusciti a coprirli tutti. Chiudo con una riflessione: come possiamo pensare di costruire armi autonome quando non siamo in grado di gestire le profonde implicazioni morali legate ad applicazioni apparentemente innocue?

Antonio Lieto
Ciao Vincenzo, ti invio i miei 2 cent sull’articolo. Il problema della delega alle macchine circa la “decisone di uccidere” o meno riguarda, a mio avviso, più che la loro “intelligenza”, la loro stupidità. Nessuno vuole che a sistemi tanto stupidi siano affidate decisioni così importanti (a differenza di quanto viene continuamente pubblicizzato sui media, infatti, i problemi classici dell’intelligenza artificiale sono ancora ampiamente irrisolti e molti sistemi di successo sono di gran lunga meno
“intelligenti” di un bambino di 5 anni). Ad ogni modo: nel corso della conferenza di Buenos Aires, a cui ho avuto la fortuna di partecipare, il panel sulle questioni etiche riguardanti l’IA è stato di sicuro uno dei più sentiti dalla comunità. Il punto su cui, mi è sembrato, fossero tutti d’accordo per quanto concerne la lettera (di cui sono firmatario) riguarda l’impegno della comunità scientifica internazionale a fare in modo che le tecnologie sviluppate (e che si svilupperanno) siano tecnologie finalizzate ad un uso benefico. Uno dei problemi principali, a questo proposito, riguarda – però – le modalità di finanziamento della ricerca. Se i fondi pubblici continueranno a diminuire (a favore dei finanziamenti privati e di quelli militari) la possibilità di controllare questo tipi di fenomeno sarà sempre minore.

Rodolfo Baggio
Certo è difficile non condividere le motivazioni etiche dell’appello. E pare difficile anche pensare a “macchine che possano autonomamente decidere” azioni. Perché sappiamo tutti benissimo che quell’autonomia non esiste e che le macchine di cui parliamo “prendono decisioni” esclusivamente sulla base delle istruzioni e dei criteri ricevuti. Nonostante gli sforzi, anche propagandistici, il test di Turing resta ancora non superato, e difficilmente lo potrà essere. E’ ancora sempre valida l’osservazione di Ada Lovelace (e questo nel 1843) che “La Macchina Analitica [di Babbage] non ha la pretesa di originare alcunché. Essa può fare tutto ciò che sappiamo ordinare ad essa di eseguire. Essa può seguire l’analisi, ma non ha il potere di anticipare eventuali rivelazioni analitiche o verità assolute. Il suo compito e scopo è quello di aiutarci a rendere disponibile ciò che già conosciamo”. Più a fondo, però, mi pare che messa così questa sia una lodevole, ma un po’ eccessiva semplificazione (anche un po’ demagogica se vogliamo) di un grande tema sul quale il dibattito, a volte più acceso, a volte più dormiente, non si è mai esaurito: quello della neutralità della scienza e della ricerca scientifica. Che si porta dietro, ovviamente, anche quello sulle applicazioni tecnologiche. Difficile rispondere, ma forse partendo da stimoli di questo tipo bisognerebbe riaprire questo discorso, soprattutto alla luce di quel che è cambiato recentemente nel mondo dal punto di vista scientifico/tecnologico.

Alice Mado Proverbio
Penso che qualunque arma per uccidere non andrebbe programmata, ma bisognerebbe investire nella pace. Credo più in progetti come questo, quindi condivido la petizione.
Per quello che riguarda il libero arbitrio e l’intelligenza artificiale, mi fido più degli automi che degli esseri umani. Infatti l’automa, per quanto imprevedibile (perché programmato a decidere sulla base di input ambientali mutevoli) è un sistema deterministico, in quando non biologico (è fatto di atomi, chip, e circuiti che rispondono alla leggi della fisica), mentre il cervello umano è un sistema intelligente a matrice biologica (apparentemente deterministica), ma dotata di libero arbitrio: la fisica non può spiegare le scelte dell’essere umano. Pensate che gli stati mentali possono agire sulla biologia cerebrale e arrivare a mutare il DNA dell’individuo. Il cervello umano non è infallibile (il famoso errore umano), è vittima delle emozioni e di cambiamenti di umore. Al contrario, l’automa non può cambiare partito, passare dalla parte del nemico, pentirsi, vendicarsi, agire per scopi personali, essere comprato, corrotto ecc.

Luigi Glielmo
Sono abbastanza concorde con quello che scrive Antonio Grillo. Per farla più semplice e meno tragica (perché purtroppo mi appare tragica la questione), parliamo dei prossimi venturi veicoli autonomi che, lo insegno ai miei studenti, contribuiranno a diminuire gli incidenti poiché le case automobilistiche avranno l’obbligo di inserire algoritmi di guida “prudenti”. Immagino però come subito nasceranno officine non tanto legali in grado di modificare i codici, gli algoritmi, e consentire una guida più spericolata della vettura e la possibilità di arrivare a destinazione in minor tempo o con maggior adrenalina. In termini di leggi della robotica non dovrebbe essere consentito mettere in pericolo vite di altri ma in quello schema tali leggi erano cablate, immodificabili, nei cervelli “positronici” degli automi e al momento non siamo in grado di fare lo stesso. O meglio si sa che (anche) le leggi cablabili nei nostri calcolatori (cioè non modificabili con un semplice cambio di programma) alla fine possono essere modificate, avendo a disposizione un po’ di tempo e capacità. E dunque non sarà tanto difficile modificare gli algoritmi così che il nostro robot, normalmente mansueto, invece che suonare la batteria imbracci un fucile e faccia strage nell’auditorium. E non dipenderà dalla decisione dei governi, mi pare. In altri termini la lettera, che pure ho firmato, ci indica una speranza ma la storia umana ci insegna altro.

Alma Sirenè
Bella cosa la tecnologia, bella cosa delegare una macchina a fare il lavoro dell’essere umano. Ma come in tutte le cose, c’è un pro e un contro. Tutto dipende da chi programma questa tecnologia, intelligente fino ad un certo punto. E’ sempre l’uomo che controlla, e se cade nelle mani dell’uomo sbagliato non c’è “legge della robotica di Asimov” che tenga.

Roberto Paura
Caro Vincenzo, finalmente ho trovato un attimo di tempo per leggere questo articolo interessantissimo che mi avevi anticipato quando ci siamo incontrati a Roma Termini! Si tratta di un tema che mi interessa in modo particolare. Anche io firmai la lettera sulle “autonomous weapons” (o “robot militari”), così come una precedente lettera aperta del Future of Life Institute sulla necessità di evitare conseguenze negative provenienti dalla ricerca sull’intelligenza artificiale. Personalità come Elon Musk, Bill Gates e Stephen Hawking recentemente hanno parlato dell’intelligenza artificiale (AI) come della possibile “ultima invenzione dell’umanità”, poiché ne causerà la distruzione. Film recenti come “Ex Machina” sposano questa tesi. Mi sembra quindi particolarmente interessante porsi il problema della regolamentazione di robot e AI per evitare quegli scenari. Come si fa? Sul fronte delle “autonomous weapons”, l’unica soluzione è quella, mi sembra proposta dallo stesso FLI, di una moratoria internazionale allo sviluppo di armi robotiche. Sebbene USA e Cina, che sono i principali sviluppatori di questi sistemi d’arma, non avranno probabilmente alcuna intenzione di firmare un bando ONU, tuttavia una dichiarazione delle Nazioni Unite mi sembra sia nell’aria e potrebbe spingere la comunità internazionale a fare pressioni affinché le armi robotiche siano in futuro inserite tra le armi proibite. Sulla questione più ampia di come applicare concretamente le celebri “Tre Leggi” di Asimov, ti invito – e invito tutti i tuoi lettori, il prof. Glielmo in primis – a partecipare alla sessione sull’Automazione del prossimo Congresso Nazionale di Futurologia, giovedì 26 novembre al Suor Orsola Benincasa. Abbiamo invitato Erica Palmerini, della Scuola Superiore Sant’Anna di Pisa, che ha diretto il progetto europeo RoboLaw, il primo tentativo di codificare una regolamentazione per i robot; Bruno Siciliano, docente di automatica alla Federico II, uno dei principali esperti di robotica in Italia; e Andrea Bertolini di Pisa, che lavora sulle normative delle auto senza conducente, ormai prossime all’immissione sul mercato. Sarà un’occasione importante per ragionare insieme su questi temi. E se mi consenti l’autocitazione – che è sempre poco elegante, ma in questo caso può estendere con altri dati il tuo ragionamento – ti segnalo che su questi temi ho pubblicato recentemente un articolo sul sito dell’IIF: Una regolamentazione per la nuova età della macchine. Un caro saluto. Roberto.

Andrea Lagomarsini
Ai miei figli dico sempre di non aver paura dei “mostri e dei draghi” ma delle persone. Non dobbiamo aver paura della AI, ma di chi la scrive, dobbiamo formare persone eticamente correte e far crescere il rispetto e il senso civico, ed inculcare ai giovani l’idea che le cose si fanno per bene perche é cosi che si fa.

Mariano D’Amore
Quando si parla di “decisioni autonome” immagino si parli di intelligenza artificiale forte. La macchina in questione è una mente o una semplice stanza cinese ? Nel primo caso, la questione è estremamente delicata. Si sta offrendo ad una macchina il potere di decidere chi o cosa debba essere eliminato, tramite modelli su cui non abbiamo alcun controllo. Ed in questo senso, i timori dei firmatari sono pienamente giustificati. Il comportamento della macchina sarebbe imprevedibile e potenzialmente dannoso per l’umanità. Mantenendo un’impostazione di intelligenza artificiale debole i comportamenti sarebbero invece prevedibili ed i rischi per l’uomo contenuti. Di conseguenza, l’appello può essere solo sostenuto.

Antonio Grillo
Vince’, sai che ti rispetto come persona e come professionista, ma credimi, stavolta hai preso una cantonata, firmando una proposta che non potrà mai essere applicata. Mi spiego meglio: se scrivessi un algoritmo che permetta ad una macchina di portare pane ed acqua ai bisognosi del terzo mondo, la macchina in questione porterebbe gli aiuti a tutti in quel determinato luogo, anche in modo autonomo; se per mancanza di fondi, materie, beni o per il solo capriccio umano, introducessi nell’algoritmo altre variabili che permettano alla macchina di decidere in quel luogo chi ne ha più bisogno, la macchina darebbe (ad esempio) priorità ai bambini e alle donne, determinando comunque la morte di chi non ha ricevuto assistenza; se addirittura sostituissimo le parole “pane ed acqua” con “bombe e veleno”, lo stesso algoritmo che decide a chi dare la vita, darebbe la morte. In conclusione per me rimane un problema etico e non tecnico, non potendo limitare la ricerca verso lo sviluppo di macchine con intelligenza artificiale, perchè in questo modo si limiterebbero anche i vantaggi della “giusta” applicazione di queste tecnologie.

Valerio Pellegrini
Oggi non possiamo essere sicuri di niente Antonio. Questo è il momento di cominciare a preparare le domande non le risposte. Le self-driving car saranno un banco di prova interessante per capire se e quanto un sistema di regole programmate può adattarsi a contesti di convivenza ibrida uomo-macchina. Certo non possiamo ignorare che abbiamo già da tempo affidato tantissime decisioni importanti alle macchine (vedi gli sviluppi della fintech e degli algoritmi di quantificazione del rischio). Anche una crisi finanziaria può nuocere gravemente alla salute.

Antonio Russolillo
Ma siamo sicuri che l’intelligenza artificiale potrà essere migliore degli umani? Gli umani non si rispettano tra loro, non rispettano il pianeta in cui vivono, come può una I.A., che impara dall’uomo, dagli esempi, essere migliore, prendere decisioni migliori? E gli uomini accetterebbero di vivere assoggettati alle decisioni delle macchine? Quesiti e scenari multipli che non fanno altro che aumetare il volume delle domande. Asimov aveva progettato le tre leggi e la legge zero proprio per limitare i robot e fare in modo che fossero un aiuto per l’uomo e per l’umanità. Ma una macchina è obbligata a seguire delle regole, un software, l’umano ha sempre il libero arbitrio. Sceglie di rispettare o non rispettare le regole. Questi stessi umani dovranno per forza di cose scrivere le regole per le I.A.

Cosimo Saccone
Le trasformazioni tecnologiche e le innovazioni scientifiche, come sappiamo, hanno prodotto una serie di conseguenze rispetto al genere umano tali da sollevare importanti interrogativi di carattere etico e morale. Tuttavia sono ancora molte le questioni aperte sulle quali l’umanità è chiamata a porsi domande (e che a volte ci coinvolgono personalmente: accanimento terapeutico, eutanasia, aborto, ecc). Per quel che mi riguarda, trovo più urgente confrontarmi con certe situazioni e problematiche attuali che pensare ai robot che uccidono gli uomini (che è ancora di là da venire). Per tale motivo sospendo il giudizio su una cosa che non mi coinvolge ancora e sulla quale finirei solo per dare una valutazione ideologica e banale.

Vincenzo Moretti
Generale, di Bertolt Brecht
Generale, il tuo carro armato è una macchina potente | Spiana un bosco e sfracella cento uomini. | Ma ha un difetto: ha bisogno di un carrista.
Generale, il tuo bombardiere è potente. | Vola più rapido d’una tempesta e porta più di un elefante. | Ma ha un difetto: ha bisogno di un meccanico.
Generale, l’uomo fa di tutto. | Può volare e può uccidere. Ma ha un difetto: può pensare.

Valerio Pellegrini
Con l’intelligenza artificiale diventeremo gli animali domestici dei nostri computer. (cit. Wozniak). Comunque aggiungo che è un processo già iniziato. Man mano che gli algoritmi e le tecnologie si affineranno diventerà sempre più pressante il bisogno di cercarci qualcosa da fare.

Matteo Fabbri
Una macchina è sempre e comunque un estensione della mente del proprio creatore. Che io crei una macchina che spara a tutto ciò che si muove o che io crei una macchina che chieda a me, per ogni cosa, se gli deve sparare oppure no secondo me è la medesima situazione. Solo che la seconda è più lunga e noiosa.

Ilaria Vitellio
Vincenzo, le domande che tu e il tuo amico prof. ponete sono importanti, le questioni etiche hanno sempre margini che tracimano al di fuori del quotidiano, tra l’oggi e il domani. Ho letto la lettera e la petizione e, anche se i temi sono fondamentali, dovremmo forse concentrarci non sugli strumenti ma sugli uomini. Gli strumenti sono strumenti, non hanno etica, è da come li usi che nascono le etiche, le pratiche, le innovazioni. Moltissimo di quello di cui oggi disponiamo arriva da quella tecnologia della guerra, quella tecnologia disciplinare che negli anni abbiamo trasformato in tecnologia abilitante. E allora «come si fa a fare concretamente quello che i sottoscrittori della lettera appello chiedono di fare?». Come abbiamo sempre fatto, con la cultura, non quella dei musei, ma quella della pratica quotidiana di una costante aspirazione al cambiamento, ad un mondo migliore.

Francesco Merone
Con le tre leggi della robotica si è tranquilli relativamente. Per questo ne fu creata una di maggiore importanza. Legge 0: «Un robot non può recare danno all’umanità, né può permettere che, a causa del proprio mancato intervento, l’umanità riceva danno.»