IL RAZZISMO (E IL SESSISMO) INNOCENTE DEGLI ALGORITMI

Molte delle nostre attività quotidiane beneficiano del lavoro invisibile degli algoritmi. Sono loro che cercano per noi le immagini che chiediamo a Google o a Instagram. Sono loro che cercano per noi (o ci propongono “spontaneamente”) la nostra musica preferita su YouTube. Sono loro che selezionano per noi i contenuti di Facebook. 

Sono loro l’anima dei navigatori che ci conducono quasi per mano nei luoghi ove vogliamo andare. Sono loro che ci propongono le pagine web quando eseguiamo una qualunque ricerca. Invisibili ma concreti, danno forma al nostro modo di vivere.

L'algoritmo invisibile

Un algoritmo, dicono gli informatici, è la soluzione che i medesimi informatici offrono ai nostri problemi. Si tratta sostanzialmente di formule matematiche (istruzioni) che, attraverso un numero finito di passaggi, forniscono risultati utili e risposte immediate ai problemi che chiediamo loro di risolvere. Diciamo le cose come stanno: gli algoritmi sono una fantastica invenzione e ci facilitano la vita.   

Là dove gli algoritmi più semplici non risolvono adeguatamente i nostri problemi (per esempio in situazioni caratterizzate da una mole di dati troppo grande e dinamica per essere gestita in modo semplice e rigido), attraverso sistemi di intelligenza artificiale gli algoritmi vengono resi capaci di modificare se stessi e di diventare più efficenti, imparando direttamente dai dati che elaborano o dalle scelte effettuate in precedenza dagli utenti. Questa abilità prende il nome di apprendimento automatico. Questi algoritmi intelligenti sono utilizzati dai motori di ricerca, dai sistemi di filtraggio antispam della posta elettronica, dai sistemi di riconoscimento facciale, e via di seguito.

Apprendimento automatico

Detto tutto il bene possibile degli algoritmi e della loro capacità di adattarsi, previo apprendimento, alle necessità dell’utente, va anche detto che nella loro capacità adattativa si nasconde un lato oscuro, molto oscuro, dietro al quale si nasconde ahimè il lato oscuro dell’umanità.

Prendiamo, per esempio, il razzismo.

È stato notato che i motori di ricerca, a fronte di determinate richieste da parte dell’utente, possono proporre risposte, pagine, immagini il cui contenuto suona (o può essere interpretato come) razzista. La domanda che ci si pone è se gli algoritmi possano essere razzisti, ovvero se le informazioni e le formule che costituiscono la loro “mente” siano improntate al razzismo. Pur non potendosi escludere in alcuni casi che ciò avvenga in modo pianificato, gli algoritmi NON sono razzisti in sé ma lo diventano nel momento in cui rispecchiano i pregiudizi umani dei programmatori e, soprattutto, i dati presenti nella rete che gli algoritmi elaborano. Detto ciò a proposito del razzismo, questo è altrettanto vero per il sessismo, il maschilismo e altre amenità del genere che animano i pregiudizi umani e che abbondano tra i contenuti della rete. Il peccato e il difetto stanno quindi nella componente umana, e non nel povero e del tutto inconsapevole algoritmo. 

Prendiamo il caso di un algoritmo dedicato alla selezione del personale per un impiego. Nelle grandi compagnie e anche nelle grandi agenzie di collocamento non vi è più nessuno che legge il curriculum del candidato. Lo fanno le macchine, gli algoritmi. Attraverso semplici formule che elaborano dati e parole chiave, gli algoritmi fanno la “scrematura”, ovvero selezionano i pochi che, se il caso, verranno esaminati dagli addetti umani alla selezione del personale, i veri e propri recruiter, per i quali l’elemento umano può ancora avere valore. Chi si affida a questi sistemi ne parla bene in termini di efficienza, velocità, costi (vai alLINK).  

Si è dimostrato che là dove i sentimenti razzisti o maschilisti sono ampiamente rappresentati nella popolazione generale (i dati sono prevalentemente riferiti agli Stati Uniti ma ogni paese ha i propri problemi specifici) gli algoritmi dedicati alla selezione del personale tendono a selezionare preferibilmente maschi bianchi, anche là dove il sesso, il colore della pelle o la provenienza etnica non dovrebbero in alcun caso rappresentare un motivo di preferenza. L’algoritmo, quindi, in quanto solutore di un problema, si porta evidentemente dietro, all’interno dei suoi diagrammi di flusso e delle sue formulette, pregiudizi umani non facilmente eradicabili.  

Un algoritmo può essere razzista?

Negli Stati Uniti (in Italia non ancora) per valutare la pericolosità di un criminale e comminare pene restrittive in carcere piuttosto che agli arresti domiciliari, il sistema giudiziario si serve di algoritmi che valutano la pericolosità e il rischio di recidiva: inutile dire che la restrizione della libertà viene comminata ai neri molto più che ai bianchi. Può essere che l’algoritmo svolga alla perfezione il proprio compito o, per lo meno, non in modo molto diverso da quanto farebbe un giudice umano di carnagione chiara, ma può anche essere che l’algoritmo si porti dietro i pregiudizi di chi ne ha compilato le istruzioni e quelli di chi ha redatto i "precedenti" del criminale.
Il pregiudizio che l’algoritmo “eredita” dal programmatore può essere corretto rivedendo le informazioni programmate. Il problema è molto più complicato quando si ha a che fare con algoritmi dotati di autoapprendimento: questi infatti “assorbono” i pregiudizi dalla montagna di dati che analizzano e che rappresentano i pregiudizi striscianti presenti nella popolazione e nei dati di riferimento da cui essi apprendono.

E che dire del maschilismo?

Mafalda e il maschilismo

In questo caso non si tratta "solo" di pregiudizi: a generare distorsioni possono contribuire anche altri elementi. Uno piuttosto infido può essere legato alla lingua.  Per esempio, se i dati di riferimento cui l'agoritmo accede per le proprie analisi sono scritti in una lingua in cui la parola “ingegnere” (o programmatore) è un sostantivo di genere maschile, l’algoritmo potrà associare più facilmente “ingegnere” (o programmatore) a “maschio” che non a “femmina” e nel caso della selezione del personale l’algoritmo potrebbe selezionare in maggioranza maschi che non femmine. Di per sé questo determina disequilibri, distorsioni, iniquità: pensiamo per esempio al fatto che la professione “infermiere” (sostantivo maschile usato di regola nei formulari per la ricerca del personale) è esercitato in Italia più dalle femmine che non dai maschi. 

A tutto si può porre rimedio. È chiaro però che il problema va prima percepito (cosa che sembra di là da venire), poi analizzato nella sua complessità e quindi affrontato in tutte le sue sfaccettature, da quelle sociologiche, a quelle psicologiche, a quelle linguistiche, a quelle di programmazione informatica, a quelle del monitoraggio dei risultati. La vedo dura.