Des policiers déployés devant le tribunal de Baltimore, le 23 mai, pour l’audition du policier Edward Nero, suspecté de la mort de Freddie Gray. | BRYAN WOOLSTON / REUTERS

Aux Etats-Unis, de nombreuses juridictions locales utilisent des logiciels prédictifs pour tenter d’évaluer les risques de récidive des prévenus. Conçus comme des programmes « d’aide à la décision » pour les juges, lorsqu’ils doivent décider d’une mise en liberté sous caution ou d’une condamnation, ces programmes notent le plus souvent les prévenus sur une échelle d’un à dix, dix représentant un risque exceptionnellement fort de récidive.

Une enquête de ProPublica, publiée ce 23 mai, montre cependant que ces algorithmes sont en réalité extrêmement peu efficaces. Les journalistes ont passé au crible les résultats du logiciel Compas, de la société Northpointe, très utilisé aux Etats-Unis. En comparant les scores de risque de récidive attribués par le programme et les cas de récidive réels – en excluant les personnes incarcérées – sur l’ensemble d’un comté pendant deux ans, les enquêteurs ont établi une série de statistiques sur l’efficacité du logiciel.

Et les résultats sont accablants : « Le score reflète de manière incroyablement erronée le risque de commission d’un crime violent : seules 20 % des personnes dont le programme estimait qu’elles commettraient un crime violent l’ont fait. Lorsqu’on prend en compte l’ensemble des crimes et délits, comme la conduite sans permis, le logiciel s’est avéré légèrement plus efficace qu’un pile ou face. 61 % des personnes affirmant qu’une récidive était probable ont été arrêtées dans les deux années à suivre. »

Le risque de récidive des Afro-Américains largement surévalué

Autre sujet d’inquiétude, le logiciel surpondère systématiquement le risque de récidive pour les Afro-Américains, qui se voient deux fois plus souvent que les Blancs attribuer un risque de récidive moyen ou important, notent les auteurs de l’étude. Surtout, le programme échoue dans les deux cas : il surévalue largement le risque de récidive des Noirs et sous-estime ce risque pour les Blancs, montre l’analyse des condamnations ayant eu lieu par la suite.

Pour quelles raisons ce logiciel se trompe-t-il si souvent ? Northpointe, son éditeur, n’a pas voulu communiquer sa formule de calcul précise aux auteurs de l’étude, se bornant à affirmer qu’elle prend en compte divers critères, comme le niveau scolaire et le fait d’avoir un travail ou non. Plus précisément, le logiciel se base sur les réponses à une série de 137 questions, qui vont du contenu du casier judiciaire à l’adresse et aux revenus du prévenu – aucune des questions ne porte sur l’origine ethnique. Parmi ces questions figurent aussi des questions « morales », le questionnaire demandant, par exemple, si le prévenu considère qu’il est normal qu’une personne affamée vole pour se nourrir. La société a dit contester les conclusions de l’étude de ProPublica, sans critiquer sa méthodologie.

Interrogé par ProPublica, Mark Boessenecker, un juge du comté de Napa (Californie) qui a utilisé le logiciel, estime que c’est l’ensemble de la méthodologie des logiciels prédictifs qui est biaisée. « Un type qui violente un enfant tous les jours pendant un an obtiendra peut-être un score de risque faible parce qu’il a un boulot. Alors qu’un type arrêté pour ivresse publique obtiendra un score élevé parce qu’il est sans domicile fixe. Les facteurs de risque ne vous disent pas si une personne doit aller en prison ; ils vous disent surtout quels sont les bons critères fixer pour une mise à l’épreuve. »

Or, depuis plusieurs années, les logiciels prédictifs sont de plus en plus fréquemment utilisés pour décider des condamnations dans de nombreuses régions des Etats-Unis. En 2014, le ministre de la justice Eric Holder avait fait part de son inquiétude devant le déploiement massif de ces programmes, et demandé à ses services d’étudier leurs résultats en détail. « Ces outils ont été conçus avec les meilleures intentions, mais je crains qu’ils ne puissent accidentellement affaiblir nos efforts pour parvenir à une justice individualisée et équitable, et qu’ils puissent augmenter encore des injustices et des inégalités qui existent déjà dans notre système judiciaire et notre société. »