Un modello linguistico non nasce neutro. Viene addestrato su testi prodotti da esseri umani — il web, i libri, gli articoli, le conversazioni — e quei testi contengono, inevitabilmente, gli stessi pregiudizi, le stesse sottorappresentazioni e le stesse asimmetrie di potere che caratterizzano la società che li ha prodotti.
Se nel corpus di addestramento le donne sono associate più spesso a ruoli domestici e gli uomini a ruoli professionali, il modello impara quella associazione statistica e la riproduce. Non perché abbia un’opinione: perché ha imparato un pattern.
Questo non è un dettaglio tecnico marginale. Man mano che l’AI viene integrata in processi che hanno conseguenze reali sulle persone — selezione del personale, valutazione del credito, assistenza sanitaria, sistemi giudiziari di supporto alla decisione — il bias algoritmico smette di essere un problema accademico e diventa un problema di giustizia sociale concreta. E la domanda su chi ne risponde, quando un sistema discrimina, è tutt’altro che risolta.
Come si forma il bias nei modelli di AI
Il bias dei dati di addestramento
La fonte più importante di bias è il dataset di addestramento. I grandi modelli linguistici vengono addestrati su porzioni enormi del web, che riflettono le voci e le prospettive di chi ha accesso e propensione a pubblicare contenuti online — storicamente sovrarappresentati: paesi ricchi, lingue dominanti (l’inglese sopra tutte), demografie con accesso a internet e istruzione. Le voci e le prospettive sottorappresentate online — lingue minoritarie, paesi a basso reddito, gruppi sociali marginalizzati — sono sottorappresentate anche nel modello che ne deriva.
Un esempio concreto: i modelli linguistici tendono a performare significativamente meglio in inglese che in lingue meno rappresentate nel dataset di addestramento, semplicemente perché hanno visto molti più esempi di testo inglese. Questo crea una disparità strutturale: gli utenti che parlano lingue meno rappresentate ricevono un servizio di qualità inferiore dagli stessi strumenti.
Il bias nelle decisioni di design
Oltre ai dati, il bias può essere introdotto attraverso le scelte di design del sistema: quali categorie usare per classificare le persone, quali esempi vengono scelti per il fine-tuning, quali criteri vengono usati per valutare se una risposta è ‘buona’ durante il processo di RLHF.
Queste scelte vengono fatte da team di sviluppatori che hanno la propria prospettiva culturale, e quella prospettiva si riflette inevitabilmente nel prodotto finale, anche quando l’intenzione è di neutralità.
Come si manifesta il bias nella pratica
Discriminazione nei sistemi di selezione del personale
Uno dei casi più documentati di bias algoritmico riguarda i sistemi di screening dei curriculum basati su AI.
Amazon ha dovuto abbandonare un sistema sperimentale di selezione automatica dei candidati dopo aver scoperto che penalizzava sistematicamente i curriculum delle donne, perché era stato addestrato su dati storici di assunzioni in cui gli uomini erano sovrarappresentati nei ruoli tecnici.
Il sistema aveva imparato che i curriculum maschili erano correlati con le assunzioni di successo, e penalizzava qualsiasi segnale associato al genere femminile, inclusi termini come ‘capitano della squadra femminile di scacchi’.
Bias nei sistemi di riconoscimento facciale e di credito
I sistemi di riconoscimento facciale hanno mostrato tassi di errore significativamente più alti per le persone con pelle scura, specialmente per le donne nere, rispetto agli uomini bianchi — con conseguenze gravi quando questi sistemi vengono usati in contesti di sicurezza o identificazione.
I sistemi di valutazione del credito basati su algoritmi hanno mostrato pattern simili: penalizzare in modo sproporzionato certi gruppi demografici sulla base di correlazioni statistiche che riflettono discriminazioni storiche più che valutazioni oggettive del rischio.
Chi è responsabile e cosa prevede la normativa europea
Il Regolamento UE 2024/1689, noto come AI Act, classifica i sistemi di AI in base al livello di rischio che comportano. I sistemi considerati ad alto rischio — quelli usati per la selezione del personale, la valutazione del credito, l’istruzione, la giustizia — sono soggetti a obblighi rigorosi di valutazione del rischio, documentazione, supervisione umana e test specifici per identificare e mitigare il bias prima della messa in produzione.
Le sanzioni per la non conformità possono raggiungere i 35 milioni di euro o il 7% del fatturato globale annuo.
L’AI Act introduce anche obblighi di ‘AI literacy’ a partire dal 2 febbraio 2025: le organizzazioni che usano sistemi di AI devono garantire che il proprio personale abbia un livello adeguato di comprensione dei sistemi che utilizza, inclusi i loro limiti e i rischi di bias.
La responsabilità diffusa: sviluppatori, deployer, utilizzatori
La domanda ‘chi è responsabile quando un’AI discrimina?’ non ha una risposta semplice perché la responsabilità è distribuita lungo la catena: chi sviluppa il modello (responsabile della qualità dei dati di addestramento e del design del sistema), chi lo integra in un prodotto specifico (responsabile di testarlo per il proprio caso d’uso), chi lo usa nella pratica operativa (responsabile di supervisionare le decisioni e di non delegare ciecamente all’algoritmo).
L’AI Act cerca di chiarire questa catena di responsabilità, ma l’applicazione pratica resta complessa, specialmente quando i sistemi sono sviluppati da aziende extra-europee e integrati da terze parti.
Cosa si può fare per mitigare il bias
Le tecniche di mitigazione del bias includono: l’audit sistematico dei dataset di addestramento per identificare sottorappresentazioni, il test del sistema su gruppi demografici diversi prima della messa in produzione, la supervisione umana obbligatoria per le decisioni ad alto impatto, e la trasparenza sui criteri usati dall’algoritmo per prendere decisioni.
Nessuna di queste tecniche elimina completamente il bias — è strutturalmente difficile, se non impossibile, costruire un sistema completamente neutro quando è addestrato su dati prodotti da una società non neutra — ma riducono significativamente il rischio di discriminazioni sistematiche non rilevate.
