Quando gli algoritmi diventano Armi di Distruzione Matematica
Brevi note a: Cathy O’Neil, Armi di distruzione matematica – Come i Big Data aumentano la disuguaglianza e minacciano la democrazia, ed. Saggi Bompiani, Milano, 2017, trad. Daria Cavallini
di Manuela Bianchi
Cathy O’Neil, titolare di un dottorato in Matematica a Harvard e un post dottorato al MIT, ha insegnato al Bernard College di New York, finché ha abbandonato il mondo accademico iniziando una carriera da consulente, prima in qualità di analista quantitativa per uno dei più importanti hedge funds statunitensi, D. E. Shaw, poi come Data Scientist per alcune start-up nell’ambito dell’e-commerce. Da queste ultime esperienze esce disillusa, avendo toccato con mano il sempre peggiore uso che qualsiasi azienda fa dei modelli matematici. Ha così deciso di unirsi al movimento Occupy Wall Street[1], allo scopo di sensibilizzare chiunque sugli aspetti del rapporto tra tecnologia, politica, società. Al tempo stesso, queste esperienze lavorative le hanno fornito un osservatorio privilegiato per descrivere con concretezza e approfondita conoscenza gli effetti sociali provocati dall’uso distorto della matematica applicata all’economia dei dati. Questo uso distorto è brillantemente riassunto nel sottotitolo del libro: “Come i Big Data aumentano la disuguaglianza e minacciano la democrazia.”
Come spiega l’Autrice nell’Introduzione: “Attorno al 2010, la matematica era diventata una componente preponderante nelle questioni umane come mai prima di allora, e l’opinione pubblica ne era in massima parte felice. Ma sentivo che i guai erano dietro l’angolo. Le applicazioni matematiche che facevano girare l’economia dei dati si basavano su scelte di esseri umani fallibili, i quali senza dubbio, in molti casi, erano animati dalle migliori intenzioni. Ciò nonostante, molti di questi modelli avevano codificato il pregiudizio umano, l’incomprensione e l’errore sistematico nei software che controllano ogni giorno di più le nostre vite. (…) I loro giudizi – anche se sbagliati o pericolosi – erano incontestabili e senza appello. E se da una parte penalizzavano i poveri e gli oppressi della nostra società, dall’altra aiutavano i ricchi ad arricchirsi sempre di più. Ho trovato un nome per questo genere di modelli: li chiamo ‘armi di distruzione matematica’, o ADM.” (pag. 9-10).
Il libro è diviso in capitoli, ognuno dei quali affronta un macrotema sociale sottoposto all’analisi dei modelli matematici, che ne hanno distorto i risultati, rovinando la vita di molte persone e aumentando sempre più la forbice di trattamento tra ricchi e poveri. O’Neil porta numerosi esempi di vita quotidiana, sicuramente molto più riconoscibili e tipici della società nordamericana, anche se, fatte le opportune e necessarie differenze, trasferibili nella realtà italiana ed europea, in particolare con riferimento agli algoritmi usati dai social network e dai colossi dell’e-commerce.
Per prima cosa cerchiamo di capire quando un modello matematico, che per sua natura dovrebbe essere neutro, si trasforma in un’arma di distruzione matematica, ovvero quali sono le caratteristiche di un’arma di distruzione matematica.
Un modello è una rappresentazione astratta di un determinato processo e, per essere attendibile, deve mantenere un legame costante con il suo campo di indagine; se le condizioni cambiano, il modello, che è dinamico, deve cambiare. Senonché, nessun modello può includere tutta la complessità della realtà, pertanto, chi è incaricato di creare il modello deve necessariamente compiere delle scelte, inserendo ciò che ritiene debba essere incluso e escludendo quel che ritiene possa essere escluso. In tal modo, è evidente, il modello baserà i suoi risultati su dati parziali e soggettivi, riflettendo obiettivi e ideologie che non rispecchiano la completezza e la complessità della realtà[2], anzi provocando danni collaterali alla collettività in una spirale discendente senza fine. O’Neil individua questi tre elementi comuni alle armi di distruzione matematica: (i) scarsa chiarezza; (ii) portata; (iii) danno. La mancanza di chiarezza o trasparenza, come spesso l’Autrice ama ripetere, si concretizza nel fatto che coloro che sono studiati attraverso il modello non ne conoscono le dinamiche, non sanno quali sono gli elementi che concorrono al punteggio per cui l’algoritmo è stato creato, e spesso il risultato non viene loro comunicato. La ragione di questa mancanza di trasparenza viene giustificata dalle aziende eccependo che l’algoritmo rappresenta l’”ingrediente segreto” fondamentale per il loro business, quindi è proprietà intellettuale e, come tale, non può essere divulgata e ha un valore economico importante. Basti qui pensare a quanto possano valere gli algoritmi elaborati da Google, Facebook o Amazon per profilare ciascuno di noi e inserirlo in una bolla dalle dimensioni sempre più grandi, ma inclusiva solo di determinate scelte, gusti, acquisti – ormai quasi sempre indotti – che rientrano nel nostro bucket di appartenenza in cui ci ha messo l’algoritmo e non ci fa vedere che cosa c’è negli altri canestri. Purtroppo non sono solo i modelli utilizzati dai social e dai colossi dell’e-commerce a profilarci (che già, da soli, raccolgono una quantità talmente elevata di dati pro capite, da essere utilizzati non solo per industri ad acquisti, ma anche per “accompagnarci” in scelte molto più importanti e decisive come il voto elettorale), ma anche le banche, le risorse umane, la scuola, ogni aspetto della nostra quotidianità. O’Neil, tra i numerosi esempi che riporta, insiste sull’algoritmo che definisce la capacità di ogni cittadino di pagare i debiti (es. fidi, mutui, rate per acquisti di beni etc.). Tale algoritmo, fondato su dati indiretti (proxy) e caratterizzato dalle scelte del tutto soggettive fatte a monte dai creatori dello stesso, produce un risultato che impatta sulla vita di ognuno. Ne deriva che si vedono negati mutui, prestiti, lavori etc. persone la cui situazione, se fosse esaminata da un essere umano prendendo in considerazione la storia personale del richiedente, potrebbe invece portare alla concessione di quanto richiesto. È evidente, quindi, che continuare a basare decisioni su modelli che assorbono pregiudizi, bias cognitivi, dati parziali, soggettivi e spesso discriminatori, definisce una realtà “altra” che non corrisponde a quella vera, ma che viene utilizzata per giustificare i risultati dei modelli stessi. Questa è quella che O’Neil chiama la “portata” o “scalabilità” delle armi di distruzione matematica: il loro perpetuarsi, espandersi, aumentando la diseguaglianza sociale e, al tempo stesso, i danni per le persone coinvolte (chi cerca un lavoro e non lo ottiene perché è risultato inadempiente in alcuni pagamenti, aumenterà i suoi debiti, peggiorando il suo rating di affidabilità proprio perché non riesce a trovare un lavoro e guadagnare). Sicuramente, come dice l’Autrice, i “sopravvissuti” del modello ne trarranno vantaggio, ma sono sempre in numero di gran lunga inferiore e appartengono alle medesime categorie socio-etnico-culturali privilegiate rispetto a quelli che ne vengono danneggiati.
Dopo aver esplorato le armi di distruzione matematica nei vari aspetti della vita, O’Neil si chiede se esiste la possibilità di trasformare il circolo vizioso in circolo virtuoso. La risposta è positiva, anche se richiede tempo e la consapevolezza e volontà di tutti.
Innanzitutto è necessaria un’Etica dei Data Scientist, che devono essere responsabilizzati sul pericolo che gli algoritmi possono avere sulla vita delle persone e anche sui sistemi democratici, arrivando ad alterarli o addirittura demolirli (basti pensare al microtargeting per influire sulle scelte dell’elettorato). “I processi basati sui Big Data codificano il passato. Non inventano il futuro, cosa per la quale occorre la percezione che solo l’uomo possiede. Dobbiamo esplicitamente inglobare valori più nobili nei nostri algoritmi, creando modelli basati sui Big Data che seguano la nostra guida etica. E talvolta questo comporta di dover anteporre l’equità al profitto.” (pag. 294). È poi necessario cambiare le leggi, ripensando al nostro modo di misurare il successo, non mettendo sempre al primo posto i profitti e l’efficienza, ma anteponendo i valori umani e innescando un ciclo di feedback positivi che vanno ad aggiustare il modello migliorandolo e cessando il processo solo punitivo dei risultati. Movimenti nella direzione della verifica degli algoritmi sono già esistenti[3], nella speranza di tornare noi a gestire i modelli e non viceversa.
[1] Occupy Wall Street è un movimento di contestazione pacifica, nato a New York il 17 settembre 2011 per denunciare gli abusi del capitalismo finanziario.
[2] “Gli angoli ciechi di un modello sono il riflesso delle valutazioni e delle priorità dei suoi creatori.” (C. O’Neil, Armi di distruzione matematica, Saggi Bompiani, 2017, pag. 33).
[3] A Princeton, i ricercatori hanno lanciato il Web Transparency and Accountability Project; iniziative simili esistono al Carnegie Mellon e al MIT.
Autore:
