Dati violenti e il caso VioGén

In Spagna un algoritmo utilizzato dalla polizia contro la violenza domestica e di genere si è rivelato un flop. Lo ha scoperto una ricerca condotta da Eticas Consulting, una società di audit specializzata in algoritmi, che si è concentrata sul sistema VioGén.

Il sistema VioGén

VioGén è una web application pensata per coordinare le azioni delle autorità spagnole preposte al contrasto della violenza di genere. Il suo ruolo è quello di creare una comunicazione integrata affinché le donne vittime di violenza e i loro figli siano tutelati meglio e più rapidamente. Per far sì che questo sia possibile, VioGén quantifica il rischio che corre una specifica persona sulla base delle risposte che essa stessa fornisce compilando un questionario.

A partire dal suo lancio, avvenuto nel 2007, la piattaforma ha sempre utilizzato i modelli di statistica classica per assegnare questo punteggio di rischio.

Il report ha però scoperto che questo sistema non funziona. Solo una donna ogni sette tra quelle che si sono rivolte in questi anni alla polizia ha ottenuto un punteggio considerato medio o alto, ossia sufficiente affinché la polizia se ne interessi attivamente. Uno dei fattori determinanti è quello dei figli, in presenza dei quali una stessa violenza viene considerata più pericolosa dall’algoritmo. 

Il flop

Secondo Gemma Galdón-Clavell, amministratore delegato di Eticas Consulting, uno dei motivi per cui l’audit è partita è legata al fatto che “sempre più spesso sentivamo dire in tv che una certa donna uccisa dal proprio partner aveva ottenuto un punteggio rassicurante da VioGén”.

motivi del flop sono numerosi. Il primo è la scarsa assistenza denunciata da molte donne, secondo cui gli ufficiali di polizia si limitano a dare i moduli da riempire senza dare abbastanza spiegazioni. Il secondo è la presenza minima di umani nel processo decisionale, che porta al 95% dei casi in cui la polizia ha semplicemente preso per buono il risultato offerto dall’algoritmo senza alcuna verifica. Secondo il report “VioGén non è molto trasparente e ha una supervisione e una tracciabilità della responsabilità umana ridotta al minimo”. 

Nonostante ciò, il ministro dell’Interno spagnolo Fernando Grande-Marlaska ha fatto sapere di voler sistemare le cose introducendo il machine learning. Si tratta di una scelta sconsiderata, dal momento che il report mostra che i dati iniziali sono raccolti in modo sbagliato. Il machine learning finirebbe dunque con il moltiplicare gli errori anziché risolverli.

Machine learning

Lo stesso meccanismo infatti è alla base della cosiddetta profilazione razziale, ossia dei meccanismi che in molti stati (europei e non) consentono alla polizia di determinare il rischio che una certa persona possa avere qualche problema con la giustizia. Ma dal momento che il machine learning è applicato a database che risentono di atteggiamenti talvolta razzisti e talvolta negligenti o superficiali da parte degli agenti, apprende ed elabora informazioni deviate. Il risultato è che la probabilità di essere fermati dalla polizia aumentano molto in funzione del colore della pelle o del proprio reddito.

In Germania, ad esempio, nel 2020 un europeo di origine turca ogni quattro è stato fermato dalla polizia, mentre i cosiddetti europei nativi tedeschi sono stati controllati solo nell’11% dei casi. Meno della metà. Una situazione simile si verifica anche nel resto d’Europa. Secondo un report dell’Agenzia europea per i diritti fondamentali (Fra) il 34% delle persone appartenenti a una minoranza etnica sono state fermate nel 2020 dalla polizia, contro una media complessiva europea del 14%.

La dannosità degli algoritmi

Il caso VioGén fa dunque emergere ancora una volta la dannosità di algoritmi e sistemi di machine learning che si nutrono di dati raccolti male o affetti da bias cognitivi. I quali, peraltro, danneggiano sempre le minoranze o le fasce più deboli della questione analizzata, come le donne vittime di violenza o gli appartenenti alle minoranze. Ed è così che – a causa di una carenza culturale digitale di base – anche i sistemi pensati per la tutela degli oppressi diventano facilmente strumenti nelle mani degli oppressori.

Prima di salutarci mi presento

Sono Francesco Centorrino e questo è il mio blog in cui parlo di Tecnologia, di Scienza, di Comunicazione e di Crescita Personale. Sono anche fondatore e presidente di Microbiologia Italia, portale di divulgazione scientifica in ambito microbiologico. Se ti piacciono i miei contenuti aggiungimi su Facebook, LinkedIn, Instagram e Twitter. Ho anche una interessantissima Newsletter che ti suggerisco di tenere sott’occhio!

Se ti è interessato l’articolo “Dati violenti e il caso VioGén” ti chiedo di condividerlo sui social network e se ti va lascia anche un commento di seguito. Se hai trovato utile questo contenuto e se vuoi approfondire questo ed altri aspetti correlati, non esitare a lasciarmi un feedback o a mandarmi un messaggio tramite il modulo contatti. Buona lettura e buona permanenza!

Alcuni articoli simili

Di seguito voglio consigliarti tre articoli correlati che penso possano interessarti. Buona lettura!

Fonti

  • Gabriele Cruciata, nella rubrica Wired “WAR”

Rispondi

Francesco Centorrino

Realizzo siti web in maniera professionale, con un'attenzione particolare all'assistenza del cliente, alla formazione continua e ad una strategia di Copywriting efficiente, mirata ad una indicizzazione SEO al top.

Cosa offro

Realizzazione siti web

Risoluzione problemi

Assistenza tecnica

Formazione continua

Realizzazione testi

Indicizzazione sui motori di ricerca

Contatti

centorrino.francesco@gmail.com

Bernalda, Basilicata

Follow ME