Reen1KZmRbk?feature=share]

Massimo Morelli

Area critica #1. Quale etica?

Per affrontare il tema del rapporto tra intelligenza artificiale ed etica bisogna innanzitutto mettersi d’accordo su cosa si intende per etica. Non è un cimento di poco conto. Senza scomodare imperativi categorici kantiani e altre benemerite sofisticazioni della filosofia morale d’Occidente, possiamo più agevolmente fare riferimento a una semplice definizione proposta da George Lakoff in un suo saggio su politica e neuroscienze [George Lakoff, The Political Mind, Viking Penguin, 2008]. Molto semplicemente, secondo Lakoff è etico tutto ciò che procura giovamento o benessere a me stesso e al maggior numero di miei pari, mentre è anti-etico tutto ciò che procura disagio, o malessere a me stesso e a maggior numero di miei pari (questo aspetto che l’etica si applichi ai ‘pari’, peers in inglese, è importante e ci torneremo). Il poter utilizzare una definizione di etica così semplice, addirittura elementare, è sicuramente una buona notizia, tuttavia dobbiamo anche confrontarci con una notizia cattiva, ed è la necessità di definire che cosa si intenda esattamente per ‘benessere’ ο ‘giovamento’. Di fatto individui, gruppi sociali ed etnie differenti intendono per benessere cose a volte diversissime. Per gli Iatmul della nuova Guinea tagliare le teste di nemici ed intrusi è un’attività lecita e benemerita che contribuisce al benessere di ognuno di loro e della loro comunità, mentre è chiaro che noi occidentali contemporanei avremo dei problemi a convenire su questa loro propensione. Allo stesso modo pare evidente che le tecniche di controllo sociale, siano esse digitali oppure no, vengono considerate tutto sommato normali e accettabili dai cittadini cinesi, che infatti vi si sottomettono senza fare troppe storie, mentre gli occidentali le tollerano malvolentieri e le considerano illecite. Il risultato è che il monitoraggio delle attività online dei cittadini viene eseguito alla luce del sole in Cina, e in modo invece occulto alle nostre latitudini.

Ma tutto questo suona ancora un po’ lontano ed astratto. Per capire bene quanto persino all’interno di una stessa nazione vi possono essere concezioni etiche diversissime possiamo fare riferimento alle differenze che intercorrono tra gli elettori conservatori e quelli progressisti.
Una serie di ricerche condotte da neuroscienziati d’oltreoceano ha evidenziato come gli individui che appartengono all’area politica conservatrice tendono ad essere più sensibili all’emozione del disgusto: le aree cerebrali coinvolte, come ad esempio l’insula anteriore destra, alcuni nuclei dei gangli della base, la famigerata amigdala e altre ancora, si attivano maggiormente nel sistema nervoso degli elettori conservatori [può sembrare strano ma è un’occorrenza statistica verificata più e più volte, si veda ad esempio Smith et al., Disgust Sensitivity and the Neurophysiology of Left-Right Political Orientations, 2011]. Al contrario, a quanto pare i progressisti sono meno suscettibili da questo punto di vista, più disponibili a tollerare scene e situazioni ‘disgustose’. Un dettaglio, potrebbe dire qualcuno… Mica tanto, visto che ne derivano grandi differenze nel modo di concepire la morale: per i conservatori una delle metafore fondamentali alla base della loro concezione etica è quella secondo la quale la morale equivale alla purezza. Ciò che è puro contribuisce al benessere, mentre ciò che è impuro procura disagio. E allora ecco che è ‘pura’ una società molto disciplinata e guidata da un leader autorevole, mentre è impura una società più caotica e caratterizzata da una governance distribuita. Al contrario, per i progressisti una delle metafore fondamentali è quella secondo la quale la morale equivale alla cura. Il riferimento è quello con le cure mediche: se ci si prende cura di cose e persone come fanno medici ed infermieri nello svolgimento del loro lavoro, si sta bene, altrimenti no. È chiaro a tutti che la visione della società che scaturisce da questi frame metaforici conservatori e progressisti è molto diversa.

Per questo quando si parla di etica intelligenza artificiale bisogna innanzitutto chiedersi di quale etica si stia parlando, per esempio se si voglia far riferimento a un’etica tendenzialmente conservatrice o a un’etica tendenzialmente progressista, anche se in realtà i diversi punti di vista in campo etico sono molti di più, e possiamo tranquillamente dire che trovare accordo su questo punto è difficile se non addirittura impossibile. Servono compromessi, punti di equilibrio che richiedono formazione specifica, onestà intellettuale, saggezza… Prerogative non comuni. Ci si preoccupa di liberare da ogni bias discriminatorio, sessista o razzista le base-dati su cui i sistemi AI vengono addestrati, ma non dobbiamo fare l’errore di pensare che la prospettiva etica sulla base della quale andiamo a ripulire quelle base-dati sia universalmente condivisa. Non è affatto così. Facciamocene una ragione: che piaccia o no, secondo molte persone il benessere alligna in società fortemente gerarchiche e potenzialmente discriminatorie. E allora che si fa?

Area critica #2. Ethics by design

Coloro che si interrogano approfonditamente sul problema dell’allineamento tra intelligenza artificiale ed etica umana indicano spesso nel cosiddetto ethics by design una possibile soluzione. Di che si tratta? L’idea è semplice e assolutamente condivisibile: bisogna che i valori etici siano implementati all’interno delle applicazioni di intelligenza artificiale sin dall’inizio, sin dalla fase di progettazione. Non ha senso, dicono costoro, andare a correggere questi sistemi ex post, a cose fatte; se davvero vogliamo che siano allineati ai valori umani dobbiamo intervenire sin dalla posa delle fondamenta, a livello di elementi costitutivi. Tra i propugnatori più convinti di questo approccio c’è anche il filosofo italiano Luciano Floridi.

È un modo di pensare su quale è difficile essere in disaccordo, ma come spesso accade quando si passa delle buone intenzioni alle azioni concrete ci si trova ad affrontare molte difficoltà. Vediamone alcune.

Della prima difficoltà si è già detto: vogliamo allineare le applicazioni ai ai nostri valori etici, ma prima dobbiamo decidere di quali valori stiamo parlando, perché infatti individui, gruppi sociali e popoli diversi fanno riferimento a sistemi morali molto eterogenei. A questo proposito citiamo un caso esemplare: la nostra applicazione AI preferita, Claude di Anthropic, ha fatto molti sforzi per allinearsi il più possibile a un set di valori etici condivisi, e a tal fine ha dotato Claude di una vera e propria Costituzione, un insieme di principi dai quali l’applicazione non deve mai e per nessun motivo discostarsi. Lodevole intenzione, ma se andiamo a vedere che cosa c’è dentro alla Costituzione di Claude scopriamo che di fatto è un clamoroso pot-pourri di norme e precetti ricavati da fonti diversissime. Si va da principi contenuti nella dichiarazione dei diritti dell’uomo delle Nazioni Unite, ad altri che sorprendentemente appartengono ai ‘termini di servizio’ della Apple. Troviamo inoltre alcuni precetti utili ad assicurarsi che Claude non assuma posizioni troppo filo-occidentali, ed altri ancora, variamente assortiti, che sono stati definiti da team di lavoro interni o ricavati da sondaggi presso la popolazione americana. Si tratta di un lavoro lodevole e molto impegnativo, ma è probabile che molti specialisti di deontologia giuridica o filosofia morale si troverebbero in grande imbarazzo analizzando codesti principi. Chi ci garantisce, ad esempio, che le regole atte a evitare che Claude assuma punti di vista troppo ‘occidentali’ non finiscano per ingenerare esse stesse un nuovo bias?

Ma qui c’è un altro punto da tenere in considerazione: qualora fossimo in grado di definire esattamente i principi etici condivisi ai quali allineare i sistemi di intelligenza artificiale, resterebbe il problema di ripulire le base-dati che alimentano questi sistemi dai bias anti-etici eventualmente presenti. Come dicono gli anglosassoni, ‘garbage in, garbage out’ (il nostro Umberto Eco diceva “merda in entrata, merda in uscita”) È noto per esempio che molte applicazioni erogano degli output sessisti o razzisti, non perché essi stessi abbiano delle inclinazioni built-in di questa natura, ma perché le base-dati sulle quali sono stati addestrati sono inquinate da bias siffatti. E non si creda che il processo di ripulitura sia agevole: qualche tempo fa OpenAI ha assunto un’azienda kenyota perché si occupasse di filtrare i contenuti tossici dai dati di training, ma dopo tre mesi la stessa azienda ha rimesso il mandato perché i suoi operatori avevano sviluppato disturbi psicologici dovuti alla continua esposizione a nequizie di ogni tipo: brutalità, abusi, espressioni di odio, ecc. La spazzatura non è facile da eliminare, ma molti ritengono che questo problema sarà se non risolto, perlomeno molto migliorato col tempo.

Un altro inciampo tutt’altro che trascurabile risiede nel fatto che oggi queste applicazioni AI sono sistemi proprietari. Le aziende che le hanno sviluppate possono anche affermare di averle allineate ai valori etici umani, ma di fatto non abbiamo modo di assicurarcene di persona. Persino Yann LeCun, uno dei creatori delle reti neurali convoluzionali e attuale responsabile della ricerca di Meta, sostiene che, nel momento stesso in cui sarà definito un vero e proprio standard per queste applicazioni, sarà assolutamente necessario che almeno i fondamenti di tale standard siano messi a disposizione della comunità. Un po’ quello che è successo grazie ad Al Gore con la rete Internet, che oggi è largamente open non grazie alla buona volontà delle corporation digitali, ma per una precisa presa di posizione della classe politica americana.

Un altro aspetto che rende difficile l’esecuzione dell’ethics by design risiede nella relativa imprevedibilità di questi sistemi. I loro creatori scelgono delle gigantesche base-dati, creano diversi layer di reti neurali e definiscono un vasto insieme di parametri regolativi, ma allorché queste applicazioni generano concretamente degli output, non sappiamo esattamente attraverso quali processi li abbiano prodotti. Sono macchine che abbiamo creato noi, ma sono così complesse che una volta attivate non sappiamo esattamente come facciano a pervenire a certi risultati. Possiamo fidarci di sistemi così imprevedibili? Alla base dell’etica c’è la fiducia, ma alla base della fiducia deve sempre esservi un certo grado di prevedibilità, che qui sembra mancare del tutto.

Infine l’ethics by design ha anche un altro problema, quello del bilanciamento tra la norma generale e il caso particolare. Vediamo bene: una regola morale deve essere astratta, ripetibile e valida per tutta la comunità, ma deve anche tenere in conto i casi particolari, nei quali notoriamente si nasconde il diavolo. Molti dilemmi etici hanno origine dal conflitto tra il piano universale e quello particolare; pensiamo ad esempio alla tragica alternativa che si trova ad affrontare il re di Tebe nell’Antigone.
Com’è noto, una delle possibili strategie per migliorare le prestazioni di una rete neurale consiste nell’aumentare il numero dei parametri considerati: in questo modo il sistema diventa molto preciso nell’analizzare la singola situazione ma meno abile nel generalizzare. È un problema noto che gli addetti ai lavori chiamano overfitting. Per ovviare all’overfitting, o eccessiva adesione al caso singolo, si procede di solito a semplificare il modello (come nel caso delle reti a convoluzione) diminuendo il numero dei parametri e costringendo il sistema a generalizzare, ad astrarre di più. Nel caso delle norme etiche tuttavia questo bilanciamento tra generalizzazione e considerazione del dettaglio è particolarmente complesso da realizzare: basta frequentare un aula di tribunale per rendersene conto. Spesse volte non è affatto facile trovare un equilibrio tra la norma universale e il caso particolare: non è facile per un giudice in carne ed ossa e non lo è neppure per un sistema AI i cui parametri devono essere configurati in modo da contemplare anche situazioni a valori multipli.

Area critica #3. Iperpolarizzazione del dibattito

Il dibattito contemporaneo sui sistemi di intelligenza artificiale è estremamente polarizzato tra coloro che sono certi l’intelligenza artificiale migliorerà moltissimo la qualità della vita umana e coloro che invece considerano l’AI una potenziale minaccia alla sopravvivenza della specie. Potremmo definirli utopisti e catastrofisti a testimonianza del fatto che su questo tema tende a esserci poco equilibrio di giudizio. Le informazioni più interessanti tuttavia emergono nel momento in cui si vadano a ripartire i protagonisti del dibattito in diverse categorie e si osservi quali posizioni prevalgano in ognuna di queste classi tassonomiche.

La prima categoria potremmo definirla quella degli ‘addetti ai lavori’, e qui la prima cosa interessante è che due tra i più importanti ricercatori che hanno contribuito a sviluppare i sistemi di machine learning hanno assunto posizioni assolutamente opposte. Yann LeCun, uno degli inventori delle reti neurali convoluzionali e attuale direttore della ricerca AI in Meta, pensa che non dovremmo preoccuparci troppo e che i sistemi di intelligenza artificiale produrranno un vero e proprio breakthrough nel corso dell’evoluzione umana. Al contrario Joshua Bengio, un altro pioniere dell’intelligenza artificiale, si dice molto preoccupato perché considerando l’estrema complessità e imprevedibilità di queste macchine noi non potremmo mai essere veramente sicuri di aver conseguito un vero allineamento tra esse e i valori umani. Tuttavia in questa categoria degli addetti ai lavori il più utopista di tutti è certamente Ray Kurzweil, il capo degli ingegneri di Google. Costui prevede che ben presto si verificherà un’ibridazione tra il cervello umano e i sistemi AI volta a trascendere i limiti biologici; la crescita esponenziale delle nanotecnologie, delle biotecnologie e soprattutto dell’intelligenza artificiale trasformerà radicalmente la condizione umana. Gli esseri umani e le macchine si fonderanno attraverso interfacce cervello-computer, ibridando gli aspetti migliori di entrambi. Questa ‘singolarità ibrida’, come la chiama lui, amplificherà enormemente l’intelligenza, la longevità e le capacità fisiche e mentali degli esseri umani. Potremmo addirittura raggiungere una sorta di immortalità digitale. Suona tutto un po’ fuori dalle righe, ma è un possibile scenario anche questo.
L’ultimo rappresentante della categoria degli addetti lavori che citiamo qui è invece Stuart Russell, un informatico dell’Università di Berkeley che possiamo definire se non catastrofista perlomeno ‘molto preoccupato’. Per l’autore del libro Human Compatible la vera questione sul tappeto è che neanche i progettisti dei sistemi AI sanno esattamente perché questi reagiscano in un certo modo anziché in un altro, sono troppo complessi. We haven’t the faintest idea! E siccome questo stato di cose è estremamente pericoloso, occorre sviluppare dei protocolli di sicurezza, delle guideline ragionevoli.

Un’altra categoria importante è quella dei filosofi, che come al solito si divertono a sparigliare le carte e sottolineare aspetti imprevisti. Il più attivo nel dibattito è forse Nick Bostrom, che tutto sommato è un ottimista: secondo lui tra cervello umano e d’intelligenza artificiale la fisica è tutta dalla parte dell’AI: il neurone ‘spara’ 200 volte al secondo (200 Hz), mentre per i computer si parla di GigaHertz; il segnale elettrico percorre l’assone a circa 100 m al secondo, ma nei sistemi digitali i segnali raggiungono velocità immensamente superiori; inoltre il cervello ha dimensioni limitate e finite, un supercalcolatore no. Nonostante tale inquietante disparità Bostrom pensa che alla fine l’ASI (Super Intelligenza Artificiale) porterà dei grandi benefici all’umanità tutta.
Più eccentrico è invece Thomas Arnold, che in origine è addirittura un filosofo delle religioni. Arnold sottolinea che noi siamo abituati a pensare a queste macchine super-intelligenti come sistemi singoli e spesso antropologicamente dotati di caratteristiche temperamentali antropomorfiche, un po’ come il Dio unico del monoteismo. La realtà tuttavia è ben diversa, perché questi sistemi intelligenti sono molteplici, distribuiti, e assomigliano più a un pantheon politeista come quello degli antichi greci. E il politeismo è una faccenda complicata: mentre il singolo sistema AI, preso di per sé, può anche essere relativamente innocuo, qualora tutti i sistemi distribuiti si unissero in un insieme integrato il livello di pericolo diventerebbe elevato. Noi pensiamo di doverci difendere da un’unica superintelligenza, mentre la realtà dei fatti è che abbiamo a che fare con una intelligenza distribuita molto più difficile da gestire. Arnold pensa anche che tutto questo allarmismo sui possibili danni che i sistemi AI potrebbero procurarci rischia di deviare l’attenzione dal nostro vero cimento che è quello di trovare noi stessi, noi umani un modo sostenibile di relazionarci e vivere insieme. Siamo innanzitutto noi a doverci allineare con noi stessi. Una volta risolto il vero problema, l’allineamento dei sistemi AI verrebbe di conseguenza.
Infine una terza categoria è quella dei veri e propri specialisti, come ad esempio Joanna Bryson, inglese di nascita ma docente proprio di etica e AI a Berlino. La Bryson si concentra sugli aspetti normativo-legali, osservando che un ‘agente morale’ è un individuo che la società considera responsabile delle sue azioni (la responsabilità è il concetto centrale) e che solo tra agenti morali può esservi una relazione tra pari. Ora, la morale e la legge che ne deriva si applicano solo tra pari (peers), solo tra agenti morali che operano allo stesso livello. ma le macchine, i sistemi AI sono degli artefatti realizzati da umani e proprietà di società umane, e in quanto tali non possono essere considerati agenti morali responsabili delle proprie azioni. Con essi non può esservi una relazione tra pari e quindi per essi non valgono né la morale né la legge umana. Sono semplicemente fuori del raggio di azione delle nostre istituzioni, e questo è naturalmente molto pericoloso. In sostanza abbiamo a che fare con entità sempre più sofisticate e quindi potenti, per le quali non possediamo un quadro normativo di riferimento.

Area critica #4. L’AI cambierà la nostra etica del lavoro?

Non è un mistero per nessuno che la nostra società capitalistica di origini puritano-borghesi abbia generato un’etica del lavoro molto peculiare, meravigliosamente descritta da Max Weber nel suo capolavoro L’etica protestante e lo spirito del capitalismo. È una storia lunga, ma possiamo ridurla all’osso dicendo che nella società puritano-borghese eccellere nel lavoro significa dimostrare di essere il prediletto, il favorito, l’unto del Signore (ahimè). Anche se certe locuzioni suonano nefaste, ci siamo abituati a pensare che il lavoro renda liberi, che nobiliti l’uomo, che dia diritto ad essere amati (chi non lavora non fa l’amore), e via dicendo.

Ora, è assai probabile che l’avvento dell’intelligenza artificiale inneschi quella che Schumpeter chiamava la ‘distruzione creativa’: all’avvento delle nuove tecnologie, le aziende che ancora fanno uso di quelle vecchie falliscono e sono sostituite da altre che invece accolgono e fanno propri i nuovi paradigmi tecnologici. È già successo tante volte (pensiamo a come il digitale ha rivoluzionato il mondo della fotografia e quello della stampa), e tuttavia è lecito immaginare che l’intelligenza artificiale stia per produrre delle trasformazioni ancora più profonde, ancora più rivoluzionarie, tali da modificare non solo singoli settori, ma l’intero paradigma produttivo nel suo insieme.

In particolare, nel momento forse non troppo lontano in cui i sistemi automatici e l’intelligenza artificiale ci permetteranno di vivere senza aver bisogno di lavorare, che ne sarà della nostra vecchia etica del lavoro? Per gli antichi greci lavorare non era un valore centrale come lo è per noi oggi; il lavoro in senso stretto era delegato agli schiavi, mentre gli uomini liberi si dedicavano al ’libero gioco’. Quando Aristotele affermava che la felicità risiede nella “bellezza della nostra attività in esercizio”, non faceva riferimento al lavoro come lo intendiamo noi. Resta dunque aperto l’interrogativo di come si trasformerà la nostra etica del lavoro con l’avvento dell’intelligenza artificiale. Verrà rivalutato l’ozio? Già parecchi decenni orsono Bertrand Russell nel suo coraggioso Elogio dell’ozio aveva cominciato l’opera di riconsiderazione e sdoganamento dell’aborrita inattività, accidia, ignavia, chiamiamola come ci pare. Egli osservava che “trasferire materiali pesanti da un punto all’altro della superficie terrestre non è affatto il destino ultimo dell’uomo”. Buono a sapersi, ma cosa ci porterà in dote l’AI? Forse non lo scopriremo neppure vivendo, lo scopriranno i nostri figli e nipoti.

Area critica #5. Come gestire, le fake news, i plagi e le allucinazioni?

Tra le azioni più anti-etiche che possiamo immaginare vi è naturalmente quella di diffondere notizie e informazioni false, plagiare contenuti elaborati da altri e spacciarsi per sapienti quando non lo si è. In realtà nella società digitale il fenomeno è diffusissimo, spesso voluto, intenzionale (pensiamo all’azione dei botnet sui social media), e le statistiche ci dicono che siamo sempre meno capaci di sceverare il vero sapere dalle farneticazioni.
All’origine di questo fenomeno vi sono da un lato l’ipertrofia informativa (il cervello non ce la fa a seguire correttamente il fiume di informazioni da cui è bombardato) e la pratica della reiterazione (già Lewis Carroll affermava: “ciò che dico tre volte è vero”). Il bello è che, al di là delle ‘allucinazioni’ che saranno presto eliminate, su questo punto i sistemi AI potrebbero addirittura esserci d’aiuto: potremmo chiedere loro di eseguire il lavoro di verifica fattuale che noi non riusciamo o vogliamo più fare. Naturalmente in questo caso bisogna avvalersi di applicazioni AI che hanno accesso diretto alla rete.

Il tema del copyright, poi, è addirittura un ginepraio: i contenuti hanno spesso origine umana (le base dati impiegate per il training dei sistemi), poi vengono rielaborati dalle macchine e infine usati nuovamente dagli umani secondo le loro esigenze. Al termine di tutto questo processo, a chi appartiene il diritto d’autore? Sembra che gli avvocati stiano letteralmente gongolando, perché tutta questa incertezza procurerà loro molto nuovo e lucroso lavoro. Su questo tema va infine detto che è tuttora molto difficile capire se un elaborato è stato prodotto da un sistema AI o da un umano. Esistono delle applicazioni dedicate, ma sono tutt’altro che infallibili. Ne vedremo delle belle.

Area critica #6. Sperequazione sociale.

In scia al grande successo dei Large Language Models e affini, oggi assistiamo a una corsa delle aziende e degli studi professionali a dotarsi di un sistema AI personalizzato. I vari copilot sono degli autentici bestseller e quasi ogni azienda degna di questo nome ha in pancia uno o più esperti che si dedicano allo sviluppo di queste applicazioni.

C’è un però, ed è un però bello grosso. In questa corsa al vantaggio competitivo sono strafavorite le aziende che possiedono le base-dati più ricche, precise e sofisticate. Pensiamo agli studi legali: quelli più grandi, che contano centinaia di avvocati tra associati e dipendenti, hanno delle base-dati gigantesche con le quali far fare training ai loro sistemi, mentre gli studi più piccoli devono o comprare le base-dati da fonti terze o accontentarsi. La forbice tra i best in class e gli altri sembra destinata ad allargarsi.

Area critica #7. I sistemi AI sono destinati a restare degli zombi filosofici o svilupperanno una coscienza?

Uno zombie filosofico è un essere immaginario che si comporta in tutto e per tutto come un umano – parla, agisce, apparentemente prova anche emozioni esattamente come un uomo – ma in realtà non avendo una coscienza è vuoto, è e resta un essere completamente automatico.
La questione qui è la seguente: quando i sistemi AI saranno sufficientemente sviluppati da essere apparentemente indistinguibili dagli umani (superando alla grande il test di Turing) come dovremmo considerarli? Come degli esseri umani, dei proxy-umani, degli zombie filosofici o come altro ancora?
È una questione spinosa perché c’è sotto tutto il tema della coscienza (chi ce l’ha e chi no, da dove ha origine, a cosa serve…) che è ancora terreno di scontro sanguinoso per filosofi, neuroscienziati, psicologi cognitivi, fisici, biologi (dimentichiamo qualcuno?)…

Certo, forse è difficile pensare che ChatGPT o Claude abbiano una coscienza e quindi delle responsabilità morali, ma proviamo a immaginare un sistema molto più sofisticato. Per quale motivo dovremmo discriminare la Rachel Nexus 6 di Blade Runner o il bimbo-automa di Spielberg? La tipica argomentazione secondo la quale le macchine scimmiottano i comportamenti umani senza coglierne il significato regge forse per i sistemi contemporanei, ma poi? Dopo tutto sotto un certo punto di vista siamo anche noi dei ’sistemi’ prodotti dall’evoluzione, anche noi siamo in larga parte automatici e infatti il tema del libero arbitrio è dibattuto dalla notte dei tempi. E noi, proprio noi, dovremmo discriminare le nostre stesse creature? Pare ingiusto. Non è che sotto sotto il problema è che gli automi siamo noi?

Condividi!