Nelle società moderne esistono dei nuovi mezzi attraverso i quali le storiche strutture sociali indirizzano, categorizzano, valutano le nostre identità e azioni. Sono processi algoritmici, parzialmente o completamente automatizzati che suggeriscono, supportano e in altri casi finiscono per prendere decisioni che a loro volta modellano le prospettive di vita di cittadine e cittadini. Riferendomi a loro come decisori, non gli voglio attribuire un’agency o una coscienza. Ma mettere in discussione le facoltà che noi umani gli affidiamo, lo spazio che gli lasciamo, la fiducia di cui li investiamo. Ci stiamo ponendo delle domande meno urgenti di quelle che sarebbero più necessarie. Mentre l’attenzione del mondo si concentra su dibattiti che riguardano il raggiungimento di una intelligenza artificiale generale (AGI), scomodando paragoni con coscienza, emozioni e agency umane, vengono sviluppati (e implementati) processi automatizzati con effetti reali e problematici sulle persone e sulla società. Non li stiamo governando, perché ancora una volta stiamo approfittando della nostra stessa fiducia, autoconvincendoci della loro inevitabilità.
Se decidiamo di non dotare questi processi di vere capacità decisionali autonome e intelligenti, dobbiamo però fare i conti con il fatto che non stiamo parlando semplicemente di mezzi aggiuntivi che lasciano inalterate le pratiche e i processi ai quali subentrano. Quando adottata in contesti decisionali, l’intelligenza artificiale (IA) viene integrata nel comportamento dei decisori umani fino a modificarne il carattere, la portata e il potere. La definizione di processi decisionali automatizzati (in inglese, automated decision-making processes, ADM) non descrive solo il loro scopo finale, ovvero la capacità di raccogliere, elaborare e ordinare enormi quantità di dati attraverso algoritmi più o meno complessi al fine di informare parzialmente o completamente i processi decisionali, ma anche la loro dimensione sociopolitica. Non ci riferiamo semplicemente all’intelligenza artificiale in quanto tecnica, ma a sistemi e strutture progettati a scopi specifici di valutazione, categorizzazione e previsione sociale.
Input, output e patterns
Una caratteristica che accomuna molte di queste pratiche è il fatto di basarsi su dati storici, e il loro utilizzo per fare previsioni sul futuro basandosi su comportamenti passati. In questa prassi (ma ne esistono molte, per diverse tecniche statistiche) i sistemi vengono addestrati su una serie di dati, ai quali l’algoritmo (o la persona, in altri casi) assegna delle etichette in base a caratteristiche predefinite che individua. Un’etichetta viene associata a uno specifico valore di input, che viene poi utilizzato per produrre un output basato su una ricerca di patterns, ovvero di regolarità e somiglianze nei dati. Uno dei più grandi vantaggi di queste tecniche – e per il quale vengono paragonati ad alcune caratteristiche della mente umana – è la loro capacità di identificare patterns anche quando sono parzialmente nascosti.
A causa della grande quantità di dati che gestiscono e della scala a cui si applicano le loro decisioni, gli ADM possono – insieme agli altri comportamenti umani che replicano – riprodurre le discriminazioni e disuguaglianze presenti nelle nostre società. Non parliamo però solo di una riproduzione, di una copia digitale di ciò che succede nel reale fisico, come invece sostiene chi tende a equiparare processi decisionali umani e macchinici (chiedendosi ad esempio: “Ma se il rischio è la riproduzione di un pregiudizio umano, cosa cambia?”). La differenza, invece, sta nel fatto che grazie alla loro immediatezza le decisioni automatizzate possono applicarsi a milioni di persone contemporaneamente, determinando automaticamente restrizioni o divieti all’accesso a determinati servizi solo perché accomunati da una stessa categoria o pattern.
Gli impatti possono essere molto diversi tra loro, come le loro cause, e dipendono strettamente dal contesto in cui l’intelligenza artificiale viene inserita e applicata. Per la sua portata, una delle applicazioni più potenzialmente problematiche dei processi decisionali automatizzati è quella nei servizi pubblici. I governi di tutto il mondo stanno sempre più automatizzando le decisioni ad alta responsabilità, come ad esempio le agevolazioni sociali, l’individuazione delle frodi, l’allocazione dei servizi sanitari, delle pensioni e dei sussidi. In questo contesto, l’IA cambierà sempre di più la natura dell’accesso ai benefici pubblici, tanto che già da qualche anno si parla di welfare digitale. La politologa statunitense Virginia Eubanks, ad esempio, in Automating Inequality: How High-tech Tools Profile, Police, and Punish the Poor (St. Peter Press 2018), parla di feedback loops di ingiustizie e di automazione delle disuguaglianze (2018) per descrivere la situazione di alcune famiglie negli Stati Uniti le cui vite sono state impattate da processi decisionali automatizzati. Eubanks si riferisce ad algoritmi (che diventano poi modelli) impiegati per compiere previsioni future (partendo da dati storici), come il rischio di recidiva o la possibilità di ripagare un prestito. Ma se pensiamo a famiglie in condizioni di difficoltà di vario tipo, che si rivolgono al sostegno pubblico o che in passato sono entrate nel mirino delle forze dell’ordine a causa di discriminazioni strutturali, in breve tempo assistiamo a sistemi che sovra-campionano queste famiglie, perché il set di dati rappresenta solo casi simili di chi ha avanzato richieste di sussidi o che è già stato arrestato in precedenza. Ne consegue che risorse e attenzioni vengono riservate a una porzione di popolazione, sottoposta a un controllo supplementare e a un’eccessiva sorveglianza.
Le implicazioni, sia teoriche sia pratiche, della pretesa di prevedere in modo strutturale il futuro in base ad attitudini passate e disuguaglianze istituzionalizzate sono gigantesche, sicuramente di grande interesse per le scienze politiche e sociali, ma che dovrebbero interessare per prima cosa la responsabilità politica dei governi. Ci viene in aiuto un esempio, che riguarda il primo caso europeo di discriminazione di massa basata sui dati a danno di 35mila famiglie. Il Toeslagenaffaire, uno scandalo legato ai sussidi per la crescita dei figli che ha investito i Paesi Bassi nel gennaio del 2021, ha causato danni economici difficilmente riparabili a moltissimi cittadini, ai quali è stato erroneamente e illegalmente richiesto il rimborso completo e retroattivo di tutti gli assegni per l’assistenza all’infanzia ricevuti nell’arco di dieci anni. Un anno fa, il gabinetto di Mark Rutte, primo ministro olandese, è stato costretto alle dimissioni anticipate in seguito alla diffusione di un rapporto elaborato da una commissione parlamentare d’inchiesta intitolato Ingiustizia senza precedenti, che mostrava un quadro disastroso riguardo le attività dell’autorità fiscale e di alcuni ministeri. I Paesi Bassi sono allo stesso tempo tra i Paesi europei dove i sussidi e i benefici statali sono più diffusi (come ad esempio i debiti universitari o l’assistenza alla casa) e dove i costi degli aiuti all’infanzia sono tra i più alti dei Paesi Ocse. A seguito di diversi episodi di frode organizzata da parte di persone che richiedevano i sussidi pur non vivendo stabilmente nel Paese, il governo olandese aveva da qualche anno potenziato i controlli, rendendoli più sistematici e rigorosi. Oggi sappiamo che nelle richieste non era ammesso nessun tipo di errore ortografico, e che ogni modulo contenente campi compilati parzialmente veniva considerato come una richiesta potenzialmente fraudolenta. Un essere umano farebbe una scelta simile?
Un algoritmo per calcolare il rischio
A partire dal 2010, l’autorità fiscale aveva integrato un primo algoritmo di identificazione del rischio (risk-detection) per elaborare i documenti compilati dalle famiglie e inviati all’amministrazione. Nel caso di una casella compilata in modo errato o di una firma omessa, gli assegni di assistenza all’infanzia venivano automaticamente sospesi e richiesta la restituzione di tutti gli aiuti percepiti in precedenza. La funzionalità tecnica dell’algoritmo era considerata assolutamente soddisfacente, perché lavorava perfettamente per il compito che gli era stato affidato: rilevare qualsiasi tipo di anomalia in un regime di zero tolleranza. Un secondo algoritmo di previsione del rischio (risk-prediction) chiamato SyRi (Systeem Risico Indicatie) veniva usato per automatizzare la selezione dei beneficiari degli assegni da sottoporre a ulteriori controlli da parte del fisco. Il sistema, programmato per imparare autonomamente, ha ricavato dei fattori di rischio sulla base dell’analisi dei dati storici, ovvero dei casi noti di frode positivi e negativi. Questo metodo di analisi, che come già accennato rappresenta uno degli utilizzi più diffusi dei processi automatizzati, apre a molti potenziali rischi di discriminazione, specialmente se impiegati su campioni di popolazione così ampi (e infatti, il tribunale dell’Aia lo ha giudicato una violazione dei diritti umani nel 2020). I fattori di rischio – che nell’apprendimento automatico sono individuati nei pesi (weights) – dovrebbero essere il più possibile privi di qualsiasi effetto pregiudizievole indesiderato sulle minoranze e sui diversi status socioeconomici. L’eliminazione di tali pregiudizi richiede vigilanza, monitoraggio costante, verifiche casuali e un certo scetticismo nei confronti delle raccomandazioni dell’algoritmo. In queste fasi di controllo si gioca l’attribuzione del ruolo decisionale. L’autorità olandese per la protezione dei dati, intervenuta per verificare l’affidabilità dei processi in seguito a diverse segnalazioni, ha scoperto che il sistema aveva imparato a discriminare in base alla prima nazionalità dei richiedenti. Dopo aver creato un modello identico ed effettuato un test di prova controllando solo per questa caratteristica, ha riscontrato che l’algoritmo aumentava il rischio di frode per le persone di origine non olandese rispetto a quelle olandesi, a parità di altre condizioni. Ne è emerso che a essere sproporzionalmente accusati erano i residenti di origine straniera, e che se l’algoritmo identificava come sospette delle famiglie di origine straniera in uno specifico asilo, ad esempio, automaticamente applicava lo stesso indice di rischio a tutte le famiglie della stessa origine sparse per i Paesi Bassi. Il sistema, euristicamente, ha concluso in più episodi che i beneficiari del welfare con una storia migratoria sono più inclini alle frodi (e non, ad esempio, semplicemente meno avvezzi alla burocrazia olandese), ha affinato e applicato questa regola nel corso di dieci anni, fino a scolpirla nel codice e renderla una prassi automatizzata. Come nota Eubanks, quindi, i gruppi sociali già potenzialmente discriminati si trovano ad affrontare livelli più elevati di raccolta dati e quindi hanno più probabilità di venire sospettati. In questo caso, il sospetto ha coinciso con la perdita di ogni tipo di assistenza statale.
È in questo senso che il ruolo decisionale acquisisce forma e senso in base al potere che affidiamo alle macchine. Concretamente, le decisioni che hanno causato questi danni alle famiglie sono state algoritmiche, perché il ruolo umano di controllo e approvazione della raccomandazione non c’è stato, così come non ci sono state valutazioni ex post da parte degli amministratori umani. La catena del processo decisionale si è interrotta prima del dovuto, e molte delle persone formalmente coinvolte – dai politici ai designer, passando per amministratori pubblici e tecnici dei ministeri – hanno affidato completamente la decisione alle macchine.
Lo scandalo è nato dal fatto che alle famiglie, di fronte alle accuse di frode e alle richieste di rimborso, non è stata data la possibilità di fare ricorso o di contestare le decisioni. Dalle sentenze e dalle analisi tecniche emerge come l’autorità fiscale olandese abbia fallito nel monitorare e vigilare sul funzionamento di entrambi gli algoritmi nel corso degli anni, fidandosi ciecamente dei sistemi e, da ciò che emerge dai racconti, affidandosi completamente ai loro risultati. Non solo: la politica era così fiduciosa e ottimista che i ministeri e funzionari responsabili di quel processo non erano nemmeno informati del suo funzionamento (e in alcuni casi nemmeno della sua esistenza).
Deresponsabilizzazione umana e automazione decisionale
I casi di deresponsabilizzazione umana e fiducia cieca nell’output algoritmico nei contesti di automazione dei processi sono diffusi, e anzi verrebbe da dire che hanno sempre fatto parte del nostro modo di relazionarci con la tecnologia. Ne scrivevano già estensivamente i costruttivisti sociali, come il filosofo Andrew Feenberg, ricostruendo la storia della neutralità e del determinismo tecnologici. A partire dalla prima rivoluzione industriale, questi approcci all’innovazione ci hanno portato a concepirne qualsiasi tentativo come un processo inevitabile perché completamente assimilata a uno sviluppo economico e industriale. In base a questa logica, l’essere umano vede il prodotto tecnologico come oggettivo, neutrale e incapace di commettere errori. Non solo: ogni processo di questo tipo ci sembra inarrestabile, fuori dalla nostra capacità individuale e collettiva di intervento. Da ciò consegue che esso non necessiti di supervisione o controllo per anticipare certe conseguenze e invertirne il corso. Questa tendenza ha avuto molte conseguenze, tra cui quella di progettare e programmare tecnologie che si allontanano sistematicamente dalle condizioni empiriche dell’esistenza, e quindi dal contesto socioculturale in cui vengono prodotte e dalle sue esigenze. Altri studiosi che hanno contribuito al dibattito costruttivista, come Donald Mackenzie e Judy Wajcman, nel 1999 (The Social Shaping of Technology, Paperback) sostenevano che l’unico modo per testare la neutralità di una tecnologia sia farlo attraverso un esperimento mentale simile al velo d’ignoranza rawlsiano. Se non sappiamo quale scopo dovrà soddisfare una data tecnologia, o il motivo per cui è stata prodotta, allora possiamo definirla neutrale. Altrimenti, qualsiasi tecnologia è storicamente situata, implicando delle combinazioni di obiettivi e scelte che determinano delle scale di valori e che spesso riflettono l’ineguale distribuzione del potere.
L’allontanamento della programmazione dalle contingenze ed esperienze si nota nel caso olandese nella pratica totalizzante (e controproducente) che portava all’identificazione di qualsiasi errore umano come un potenziale indicatore di rischio. Il pregiudizio appreso e replicato dall’algoritmo sulla nazionalità dei richiedenti, poi, non ha origine negli elementi tecnici e perfettamente funzionanti, ma nella loro specifica configurazione in un mondo reale di tempi, luoghi, eredità storiche. In assenza di norme esplicite o codici che discriminano tra persone di classi, generi o nazionalità diverse, i risultati algoritmici sono generalmente rappresentati o interpretati come giudizi fattuali che attribuiscono abilità o meriti, disabilità o demeriti alle categorie più o meno favorite. Come se il trattamento equo potesse essere definito solo per le uguali condizioni di partenza (l’uguaglianza non davanti alla legge, ma all’algoritmo), e non per tutto quello che accade nel corso dell’apprendimento automatico, che può generare iniquità sistemiche assegnando a ogni persona uno o più etichette, astraendo dal caso singolo e penalizzando l’intero gruppo sociale per la condivisione di anche una sola caratteristica. In questo senso, la sociologa Judy Wajcman nei suoi studi sul tecnofemminismo auspicava una riscoperta della contingenza, mentre Donna Haraway parlava di esperienze situate. Siamo di fronte al trionfo delle generalizzazioni, dove rischiamo di perdere la capacità discrezionale che identifica eccezioni, particolarità, e semplice diversità. Joseph Weizenbaum, considerato uno dei padri dell’intelligenza artificiale, scriveva in Computer Power and Human Reason (1976) che non dovremmo mai permettere ai computer di prendere decisioni importanti, perché mancheranno sempre di qualità umane come la compassione e la saggezza.
Scelte individuali o responsabilità collettive?
Come nei più gravi casi di discriminazione di massa, l’identità sussunta delle vittime del Toeslagenaffaire è stata decisiva per far ricadere centinaia di persone in ancora più gravi difficoltà finanziarie e fargli perdere l’assistenza, il lavoro, la casa, e in alcuni casi la vita stessa. L’attribuzione di identità da parte delle macchine avviene in base a criteri binari, e spesso è dedotta da altre caratteristiche. Tipico è l’esempio del genere, stabilito automaticamente a partire dal nome proprio, oppure dai vestiti indossati o dai lineamenti del viso (nel caso del riconoscimento biometrico), con la presunzione di attribuire a una persona un genere che non sempre corrisponde a quello in cui si identifica. Os Keyes ricerca il rapporto tra intelligenza artificiale e transessualità, insistendo sulla radice epistemica del problema di classificazione dell’identità. Denuncia la ricaduta in un rigido materialismo della differenza: quando l’IA viene interpretata come una fonte di verità, rischia di rafforzare ulteriormente una nozione di identità come fissa, oggettiva, essenziale. In questo scenario, all’esistenza umana viene tolto spazio per divenire, modificarsi, cambiare idea, distaccandosi dalle sue scelte passate. Oltre al SyRi, i Paesi Bassi negli ultimi anni hanno sperimentato un altro sistema predittivo chiamato Top600, che calcola il rischio di diventare criminali per gli adolescenti olandesi. I 400 giovani con il punteggio più alto dovrebbero essere monitorati dalla polizia, anche in assenza di indizi di reato o di storie criminali alle spalle. Poiché le analisi del rischio spesso mancano di trasparenza e di spiegazioni, spesso non è possibile sapere cosa pesa maggiormente nella definizione del rischio. Ciò può portare a violazioni del diritto alla privacy, alla parità di trattamento e alla non discriminazione. L’infiltrazione della predittività nelle nostre vite può privarci della percezione di un futuro aperto, possibile, in cui fare la differenza. Questo, se ci pensiamo, può avere un impatto distruttivo sulla società in generale. Portato all’estremo, significa avere a che fare con strutture sociali ci identificano e definiscono senza ammettere cambiamenti, senza lasciare spazio all’incertezza. Come potremmo maturare, voler fare di meglio, se sapessimo già esattamente qual è il nostro destino? Se l’automazione pretende di agire su processi completi e finiti, che spazio rimane all’agire umano, che invece è parzialmente aperto, sempre in divenire e intrinsecamente non finalizzabile? Da qualche anno, lo studioso di diritto e professore Frank Pasquale solleva preoccupazioni sulle conseguenze di una “reputazione digitale” determinata da processi automatizzati, proprio per il suo ruolo determinante nel definire le possibilità di vita di una persona o di interi gruppi. Effettuando valutazioni basate sulle esperienze passate che modellano il set di opportunità future in base a categorie predefinite, è chiaro che questi sistemi esercitano una forte influenza sul rapporto tra scelte individuali e risultati collettivi. Anziché chiedersi se possiamo attribuire o meno a un’intelligenza artificiale una coscienza, dovremmo chiederci come queste raccomandazioni influiscono nel plasmare i nostri obiettivi, aspirazioni e autocomprensione. Come si comporterà un adolescente considerato come potenzialmente sospetto per tutta la sua crescita? In che modo la classificazione in cui ricadono influenza le persone, e che strumenti hanno queste persone per resistere a questa inevitabile categorizzazione?
L’intelligenza artificiale tra Cartesio e Newton
Abeba Birhane, tra le voci più interessanti degli studi critici sugli algoritmi, fa notare che i processi di apprendimento automatico che pervadono la sfera sociale incarnano i valori fondamentali delle visioni del mondo cartesiana e newtoniana, in cui si presume che i comportamenti storici – fluttuanti e interconnessi – possano essere formalizzati, raggruppati e previsti in modo neutrale. Come scienzata cognitiva, afferma che i sistemi di IA non capiscono, non intendono, non empatizzano, non sentono, non sperimentano: attività che richiedono la creazione di senso e un’esistenza incarnata, una relazione continua con gli altri e con il mondo. Weizenbaum faceva una distinzione cruciale tra decidere e scegliere: la decisione è un’attività computazionale, qualcosa che può essere programmato. È la capacità di scegliere che, in ultima analisi, ci rende umani, come prodotto del giudizio critico che include elementi irrazionali.
La differenza tra decisione e scelta, in questo senso, riflette quella tra automazione, intesa come rapporto di cieca fiducia e assenza di controllo – e quindi delega completa alla macchina – e aumento delle capacità umane. Ciò riguarda il modo in cui vogliamo gestire una parte considerevole del nostro futuro, e quale ruolo vogliamo assegnare al supporto decisionale automatizzato nelle decisioni sulle nostre vite. Ciò richiede un allontanamento dall’inevitabilità, forte presenza e consapevolezza finora dimenticate. Se facessimo l’errore di autoconvincerci definitivamente di questa inevitabilità, riusciremmo mai a reagire e resistere a certe tecnologie? L’ossessione di imitare l’intelligenza umana ci ha allontanati dal pensare l’IA come supporto, perché l’idea di tagliare i costi fa sembrare più facile sostituire gli esseri umani con una macchina invece che ripensare i processi. L’integrazione e l’investimento in tecnologie che enfatizzino il rapporto utente-macchina rispetto all’autonomia decisionale che stiamo affidando loro è l’obiettivo che dovremmo porci come individui e collettività, a partire dai luoghi pubblici decisionali.
Agli olandesi che scendono in piazza per chiedere :“Perché siamo stati accusati ingiustamente?” dovremmo rispondere con pratiche che mettano al centro il punto di vista delle persone coinvolte. Ascoltando le loro esperienze per rafforzare cosa possono fare le amministrazioni pubbliche. Ciò aiuterebbe a colmare la distanza tra le aspettative istituzionali, la ricerca empirica e la sperimentazione politica: l’unico modo è allontanarsi dall’innovazione come obiettivo in sé; o almeno di darle una giusta definizione.