Nel Paese degli algoritmi bisogna essere anche filosofi
Brevi note a: Aurélie Jean, Nel Paese degli algoritmi, ed. Neri Pozza, Vicenza, 2021, trad. Elena Dal Pra
di Manuela Bianchi
“Noi dobbiamo prendere coscienza delle possibili distorsioni delle nostre percezioni e agire di conseguenza per evitare discriminazioni e ingiustizie”. Questa frase racchiude il pensiero cardine di Nel paese degli algoritmi, pubblicato da Neri Pozza all’inizio del 2021, con la traduzione di Elena Dal Pra. L’autrice è Aurélie Jean, scienziata francese, si occupa di modellazione matematica e simulazione numerica applicate a differenti campi di ricerca. Laureata a Parigi, specializzata negli Stati Uniti, ora si dedica alla ricerca, all’insegnamento e a collaborazioni editoriali, queste ultime allo scopo di divulgare in termini comprensibili a chiunque il ruolo dell’IA e dei modelli matematici che ne stanno alla base.
Attraverso le sue esperienze universitarie, dal primo incontro con i linguaggi di programmazione informatica, alla successiva vita da ricercatrice e poi da consulente, Jean vuole spiegare, dal punto di vista di una scienziata, che cosa si cela dietro gli algoritmi, le funzioni matematiche che hanno assunto – e assumeranno in modo sempre più incisivo – un ruolo costante nelle nostre esistenze in questa era tecnologica. Il suo percorso (è passata dalla scrittura di modelli algoritmici per misurare l’elasticità delle gomme delle automobili, a quelli per calcolare il rischio di un trauma cranico a seguito di un’esplosione o per fare previsioni finanziarie) l’ha portata a comprendere la necessità di una divulgazione scientifica chiara e trasparente, che interpreti ogni elemento nel modo più oggettivo possibile, così da avere gli strumenti per fare una riflessione etica sulla tecnologia che ci circonda. Questo significa che non solo gli addetti ai lavori devono essere del tutto consapevoli di ciò che fanno, ma anche gli utenti (e, quindi, tutti noi) devono avere gli strumenti per comprendere come funzionano le nuove tecnologie.
Jean parte dal presupposto che quando si modella un algoritmo si devono prendere delle decisioni relative alla sua formulazione. La forma impersonale “si” indica, nei fatti, gli scienziati e le scienziate che stanno sviluppando la formula matematica, quindi uomini e donne in carne e ossa che devono interpretare i dati e le informazioni da inserire nella funzione. Interpretazione significa anche scegliere quali dati e come inserirli per farli elaborare dalla macchina al fine di avere l’output desiderato (es. concessione o meno di un finanziamento, superamento di una fase di selezione del personale, presenza di requisiti per un concorso etc.). Ebbene, è ormai un dato di fatto che le informazioni inserite nella modellazione delle formule matematiche applicate all’Intelligenza Artificiale contengono bias cognitivi, ovvero meccanismi di discriminazione, pregiudizi etc. Secondo Jean questi bias possono essere espliciti, se adottati consapevolmente dal programmatore, o impliciti, se nascosti nei dati che devono allenare l’algoritmo. L’interpretazione, o uso/scelta di un’informazione piuttosto che un’altra, è intrinsecamente soggettiva, con la conseguenza che l’output fornito dall’algoritmo conterrà sicuramente lo “sguardo” di chi lo ha modellato e questo, così com’è, influenzerà la realtà (es. concederà o meno il finanziamento a un determinato richiedente, farà superare la selezione a un aspirante collaboratore etc.).
Nei primi tempi della sua carriera di ricercatrice, Jean era convinta di poter garantire l’assenza di bias solo perché in tuti i suoi lavori giustificava “in maniera rigorosa e sistematica ciascuna delle ipotesi che formulavo nell’algoritmo, ma qualsiasi modello è per natura un’approssimazione, il cui grado dipende da chi lo sviluppa.” Come le fece notare un collega, il modello si basa su scelte, consapevoli o meno, e in ognuna di queste scelte si annidano le nostre percezioni, che dipendono da chi siamo, da quel che sappiamo, dal nostro profilo scientifico e da molto altro. In sostanza, il modello è sempre un’approssimazione della realtà e anche se il modellatore agisce in totale buona fede partendo da ipotesi valide, deve sempre avere presente il quadro generale: se le informazioni che alimentano l’algoritmo sono parziali, il risultato sarà parziale. A tal proposito, l’autrice porta l’esempio dell’applicazione Salute di Apple che, sviluppata da scienziati uomini, non aveva preso in considerazione il ciclo mestruale femminile, aggiunto solo quando alcune donne hanno fatto notare questa lacuna. È un evidente caso di risultato parziale dovuto alla mancanza di donne nel team di sviluppo dell’applicazione.
Noi sviluppiamo bias cognitivi fin dall’infanzia: comprenderne l’origine significa comprendere i meccanismi dei bias algoritmici, che derivano dai primi. Come abbiamo visto sopra, un modello matematico contiene dati e informazioni, ipotesi, variabili, equazioni e costanti scelte dal modellatore: la scelta può avvenire in maniera esplicita, ovvero operata dallo scienziato, o implicita, come nel caso del machine learning. Quando si introduce esplicitamente un bias, è necessario tenerne conto nella valutazione degli output. I bias impliciti, invece, si sviluppano nella fase di apprendimento nelle tecniche di machine learning: si tratta di criteri di categorizzazione desunti dall’esperienza e sviluppati dall’algoritmo stesso, quindi non imputabili all’estensore del modello matematico. L’insieme dei criteri di categorizzazione così sviluppato disegna una vera e propria rete neurale, che può espandersi molto e diventare talmente complessa da rendere difficile la sua analisi per individuare a posteriori i criteri impliciti dell’algoritmo addestrato. Come dice Jean, la nostra responsabilità, quando progettiamo un algoritmo, sta nel valutare le possibili origini dei bias ed esercitare il pensiero critico durante tutto lo sviluppo del modello. Nel caso di riscontro di presenza di bias espliciti, bisogna identificare i parametri o le ipotesi discriminatorie e eliminarle modificando l’algoritmo o i dati su cui è calibrato. Da quanto in maniera molto semplificata è stato detto poco sopra, è chiaro che più complessa è la situazione in caso di bias impliciti: il più delle volte essi vengono individuati solo quando gli utenti evidenziano discriminazioni cui sono o ritengono di essere stati vittime a seguito dell’applicazione di quel modello matematico (tipico l’esempio della dipendente di Google che riscontrò che l’applicazione di riconoscimento facciale che la società stava sviluppando non riconosceva il suo volto perché di colore).
È possibile ovviare, o almeno limitare il più possibile, tutto questo? L’autrice individua l’importanza nell’etica, nella maggiore e sempre presente consapevolezza degli scienziati circa l’impatto che ciò che sviluppano può avere nella realtà, una possibile soluzione, o comunque attenuazione delle disparità che talvolta i modelli matematici possono produrre. Come dice Jean “il corso di etica mi ha anche insegnato a considerare in maniera critica le mie motivazioni nel lavoro…devo essere in grado di certificare sistematicamente che il mio progetto non causerà danni, fosse pure a una minoranza di individui”. In sostanza, gli scienziati devono tornare a essere anche filosofi e viceversa, posto che questi ultimi riflettono su un mondo che gli sfugge e i primi costruiscono un mondo su cui non riflettono (naturalmente è una generalizzazione dell’autrice per semplificare la questione e sensibilizzare il lettore su questa necessità). L’etica, le norme e i codici di comportamento possono diventare fattori scatenanti di consapevolezza individuale, da un lato per aiutare chi lavora nell’ambito dell’Intelligenza Artificiale a operare in base a principi etici, dall’altro per delineare le leggi future. A tal proposito, anche la legislazione – nonostante la sua natura a posteriori, punitiva e conservativa – deve ricoprire un ruolo centrale nella lotta ai bias algoritmici e alla discriminazione tecnologica, così come la formazione e la cultura dei leader politici, che devono collaborare con gli scienziati per creare leggi libere da lacune tecnologiche. A livello puramente tecnico, l’autrice sostiene l’uso di agenti algoritmici (paragonabili a una “polizia degli algoritmi”) per valutare il comportamento con possibili bias di un modello matematico in fase di apprendimento, ovvero in grado di analizzare il comportamento di un algoritmo in tempo reale, man mano che impara. In definitiva, è un dato di fatto che in futuro saranno sempre più numerose le decisioni prese dagli algoritmi, “ma dobbiamo rimanere padroni della nostra vita e delle scelte fondamentali, e non delegarle a equazioni matematiche!”.
Autore:
