The Guardian titola: “Trovato pregiudizio nel sistema di intelligenza artificiale utilizzato per rilevare frodi sui sussidi nel Regno Unito”.
E poi sotto: “età, disabilità, stato civile e nazionalità influenzano le decisioni di indagare sulle richieste, suscitando timori di un approccio “prima fai male, poi risolvi”.
Una valutazione interna di un programma di apprendimento automatico, utilizzato per esaminare migliaia di richieste di pagamenti di credito universale, in tutta l’Inghilterra, ha scoperto che selezionava in modo erroneo le persone di alcuni gruppi più di altri, quando consigliava chi indagare per possibili frodi.
L’ammissione è stata fatta in documenti rilasciati ai sensi del Freedom of Information Act dal Department for Work and Pensions (DWP).
La “disparità di risultato statisticamente significativa” è emersa in un'”analisi di equità” del sistema automatizzato per gli anticipi di credito universale, condotta a febbraio di quest’anno.
Errori “ragionevoli”
L’emergere del pregiudizio avviene dopo che il DWP, questa estate, ha affermato che il sistema di intelligenza artificiale “non presenta preoccupazioni immediate di discriminazione, trattamento ingiusto o impatto negativo sui clienti”.
Questa garanzia è arrivata, in parte perché la decisione finale se una persona riceve fondi di assistenza sociale è ancora presa da un essere umano (sic!) e i funzionari ritengono che l’uso continuativo del sistema, che sta tentando di aiutare a tagliare circa 8 miliardi di sterline all’anno, perse in frodi ed errori, sia “ragionevole e proporzionato”.
Tuttavia, dalle rivelazioni scopriamo che non è stata ancora intrapresa alcuna analisi di equità in merito a potenziali pregiudizi incentrati su razza, sesso, orientamento sessuale e religione, gravidanza, maternità e stato di “riassegnazione di genere”.
“È chiaro che nella stragrande maggioranza dei casi, il DWP non ha valutato se i suoi processi automatizzati rischiassero di colpire ingiustamente gruppi emarginati”, ha affermato Caroline Selman, ricercatrice senior presso il Public Law Project, che per prima ha ottenuto l’analisi.
Prima fai male poi risolvi
“Il DWP deve porre fine a questo approccio ‘prima fai male, poi risolvi’ e smettere di implementare strumenti quando non è in grado di comprendere correttamente il rischio di danno che rappresentano”.
Il riconoscimento delle disparità nel modo in cui il sistema automatizzato valuta i rischi di frode, probabilmente aumenterà anche il controllo dell’uso in rapida espansione dei sistemi di intelligenza artificiale da parte del governo e alimenterà le richieste di maggiore trasparenza.
Secondo un conteggio indipendente, ci sono almeno 55 strumenti automatizzati, utilizzati dalle autorità pubbliche nel Regno Unito che potenzialmente influenzano le decisioni su milioni di persone, sebbene il registro del governo stesso ne includa solo nove.
Il mese scorso, il Guardian ha rivelato che nessun dipartimento di Whitehall aveva registrato l’uso di sistemi di intelligenza artificiale da quando il governo ha affermato che sarebbe diventato obbligatorio, all’inizio di quest’anno.
Sorveglianza di massa
I registri mostrano che gli enti pubblici hanno assegnato decine di contratti per servizi di intelligenza artificiale e algoritmici. Un contratto per un software di riconoscimento facciale, del valore di 20 milioni di sterline, è stato messo in palio il mese scorso da un ente di appalti della polizia istituito dal Ministero dell’Interno, riaccendendo le preoccupazioni sulla “sorveglianza biometrica di massa”.
Peter Kyle, il segretario di Stato per la scienza e la tecnologia, ha precedentemente dichiarato al Guardian che il settore pubblico “non ha preso abbastanza sul serio la necessità di essere trasparente nel modo in cui il governo utilizza gli algoritmi”.
Negli ultimi anni, i dipartimenti governativi, tra cui il Ministero dell’Interno e il DWP, sono stati riluttanti a rivelare di più sul loro utilizzo dell’IA, citando preoccupazioni che ciò potrebbe consentire a malintenzionati di manipolare i sistemi.
Un severo codice etico per le IA
Non è chiaro quali fasce d’età abbiano maggiori probabilità di essere erroneamente prese di mira per i controlli antifrode dall’algoritmo, poiché il DWP ha censurato quella parte dell’analisi di equità.
Né ha rivelato se le persone disabili abbiano maggiori o minori probabilità di essere erroneamente individuate per le indagini dall’algoritmo rispetto alle persone non disabili, o la differenza tra il modo in cui l’algoritmo tratta le diverse nazionalità. I funzionari hanno affermato che questo serviva a impedire ai truffatori di giocare con il sistema.
Un portavoce del DWP ha affermato: “Il nostro strumento di intelligenza artificiale non sostituisce il giudizio umano e un assistente sociale esaminerà sempre tutte le informazioni disponibili per prendere una decisione.
Stiamo adottando misure coraggiose e decisive per contrastare le frodi sui sussidi: il nostro disegno di legge sulle frodi e gli errori consentirà indagini più efficienti ed efficaci per identificare più rapidamente i criminali che sfruttano il sistema dei sussidi”.
Ecco che, allora, al fine di evitare determinate spiacevolissime situazioni ai più fragili, sarebbe bene che un codice etico chiaro e severo precedesse, a livello globale, l’utilizzo dell’IA, quantomeno in ambiti importanti e delicati quali la previdenza pubblica.
di Matteo Castagna
Il 2diPicche lo puoi raggiungere
Attraverso la Community WhatsApp per commentare le notizie del giorno:
Unendoti al canale WhatsApp per non perdere neanche un articolo:
Preferisci Telegram? Nessun problema:
