
L’algoritmo può negarci un mutuo: l’importanza di capire il perché, anche per la sanità
Alla 61° Giornata Salvatore Maugeri, Fosca Giannotti (Scuola Normale) spiega perché trasparenza, spiegabilità e controllo dei dati sono fondamentali per un’AI affidabile e libera dalle discriminazioni

Fosca Giannotti, professoressa di Informatica presso la Scuola Normale Superiore di Pisa (@SAE Salute)
Immaginiamo di chiedere un mutuo a una banca e di ricevere un rifiuto. La decisione è stata presa, almeno in parte, da un sistema di intelligenza artificiale, che non ci ha spiegato le motivazioni di quel rifiuto. Come possiamo contestare una decisione se non ne conosciamo le motivazioni? Questo è uno degli interrogativi che accompagnano la crescente diffusione dell’intelligenza artificiale. Anche in ambito sanitario.
La tematica è stata affrontata da Fosca Giannotti, professoressa di Informatica presso la Scuola Normale Superiore di Pisa, in occasione della 61° Giornata Salvatore Maugeri, svoltasi il 17 novembre 2026 a Pavia, dal titolo “Le Persone curano le Persone. E l’IA? Dalla Rerum Novarum alla Magnifica Humanitas, con uno sguardo alla sanità del futuro”. Affidare alle macchine il compito di supportare decisioni che riguardano le persone, ha spiegato Giannotti, richiede sistemi accurati, trasparenti e in grado di non riprodurre le discriminazioni presenti nella società.
Molti sistemi di intelligenza artificiale restituiscono un risultato senza mostrare il ragionamento che lo ha generato. Questo, tuttavia, non significa che la risposta sia sbagliata. Il problema riguarda soprattutto la possibilità di instaurare un rapporto di fiducia tra esseri umani e macchine. “Non è detto - spiega Giannotti - che, se i sistemi non spiegano le proprie decisioni, queste non siano corrette. Spesso il modo per valutare il sistema è una misura chiamata accuratezza, che può anche essere molto buona. Ciò che non è utile è non stabilire un rapporto di fiducia tra la persona e la macchina”.
Quando l’intelligenza artificiale viene utilizzata per supportare una decisione, infatti, non dovrebbe limitarsi a fornire una risposta: dovrebbe contribuire a costruire una collaborazione con l’essere umano. L’obiettivo è affiancare alla risposta dell’algoritmo una spiegazione che permetta di comprendere quali elementi abbiano contribuito a produrla.
“Per prendere una decisione - aggiunge - dobbiamo stabilire una collaborazione tra persona e macchina, il che significa capirsi. La spiegazione serve proprio a questo: affiancare alla decisione presa dalla macchina una motivazione che permetta alla persona di comprendere la logica che l’ha generata”.
Giannotti propone un esempio concreto, quello di una persona a cui viene negato un mutuo da parte di una banca. Un sistema di intelligenza artificiale potrebbe suggerire all’operatore bancario di non concedere il finanziamento, individuando alcuni fattori determinanti, come l’età, la mancanza di un lavoro stabile o un reddito insufficiente. In questo caso, conoscere le motivazioni alla base della decisione diventa fondamentale per la persona interessata.
“Se la macchina suggerisce all’operatore bancario di non dare il mutuo e spiega le motivazioni, allora questo può supportare anche il diritto della persona di difendersi se la macchina ha utilizzato un dato sbagliato o un dato vecchio. La persona ha così pieno controllo di quello che sta succedendo e la relazione diventa una relazione di fiducia con la macchina”.
La "spiegabilità", quindi, non serve semplicemente a rendere più trasparente il funzionamento dell’algoritmo, ma permette alle persone di mantenere un ruolo attivo nelle decisioni.
Un altro aspetto centrale riguarda il modo in cui gli esseri umani si rapportano all’intelligenza artificiale. Il rischio, secondo Giannotti, è quello di oscillare tra due atteggiamenti opposti: delegare completamente le decisioni alla macchina o rifiutare di utilizzarla, ritenendo di poter fare di meglio.
“Dobbiamo trovare un bilancio tra due estremi. Da una parte c’è delegare completamente alla macchina: l’algoritmo ha deciso, alzo le mani perché non ho elementi per metterlo in discussione. Dall’altra c’è il rifiuto della tecnologia: so farlo meglio della macchina perché ho studiato, ho esperienza e non voglio usarla”, dice Giannotti. La spiegazione delle decisioni algoritmiche può contribuire proprio a superare questa contrapposizione, favorendo una collaborazione nella quale l’intelligenza artificiale supporta le capacità umane, senza sostituirle.
La fiducia in questi sistemi passa anche attraverso la capacità di verificare che le loro decisioni non siano discriminatorie. Un algoritmo può infatti produrre risultati differenti sulla base di caratteristiche come genere, età, etnia o condizione socioeconomica, anche quando non è stato progettato esplicitamente per farlo. Il problema può nascere già durante la fase di addestramento del sistema.
“Una delle possibilità - ha osservato Giannotti - è che la macchina abbia imparato male perché i dati utilizzati per il suo addestramento contenevano già delle discriminazioni. Se il dataset di partenza contiene già di per sé dei dati discriminati, il sistema di machine learning può finire per amplificare quelle disuguaglianze”. Per questo motivo, non ci si può limitare a controllare il risultato finale prodotto dall’algoritmo, ma è necessario adottare un metodo rigoroso durante tutto il processo di apprendimento. “A volte le discriminazioni sono indirette. Magari il sistema non decide di negare un mutuo in base al colore della pelle, ma utilizza il quartiere o il Paese in cui una persona vive. Se in quella zona fosse presente una determinata maggioranza etnica, il sistema potrebbe comunque portarsi dietro informazioni discriminatorie”.
Un esempio concreto delle conseguenze di questi meccanismi utilizzato dalla professoressa arriva dai Paesi Bassi. Qui un sistema utilizzato dalla pubblica amministrazione per individuare eventuali irregolarità nella richiesta di sussidi per l’assistenza all’infanzia ha finito per colpire in modo sproporzionato migliaia di famiglie, molte delle quali con background migratorio. Le autorità avevano erroneamente accusato di frode decine di migliaia di famiglie, chiedendo loro la restituzione di quanto percepito.
Il caso, noto come "Dutch childcare benefits scandal" e culminato il 15 gennaio 2021 con le dimissioni in blocco del terzo governo guidato dal primo ministro Mark Rutte, ha mostrato come l’utilizzo di criteri algoritmici e indicatori indiretti legati anche alla nazionalità possa contribuire a generare discriminazioni sistematiche. Uno degli esempi più significativi, quello usato da Giannotti, di quanto sia importante verificare non soltanto l’accuratezza di un sistema, ma anche i criteri con cui vengono prese le decisioni e le conseguenze che queste producono sulle persone.
L’AI progettata per le persone
Le riflessioni di Fosca Giannotti riportano al centro una questione fondamentale per il futuro dell’intelligenza artificiale: la tecnologia non può essere considerata affidabile soltanto perché produce risultati accurati. Deve anche essere comprensibile, verificabile e capace di rispettare i diritti delle persone.
La possibilità di spiegare le decisioni e la capacità di individuare eventuali discriminazioni non rappresentano, quindi, aspetti secondari dello sviluppo tecnologico, ma condizioni necessarie affinché l’intelligenza artificiale possa diventare uno strumento realmente utile alla società.
La sfida non è costruire macchine che decidano al posto nostro, ma sistemi che possano affiancarci, valorizzando le nostre competenze e lasciandoci la possibilità di comprendere, valutare e, quando necessario, contestare le loro conclusioni. Anche nell’era dell’intelligenza artificiale, il punto di partenza e di arrivo deve rimanere sempre la persona.



