La police de Durham, une ville de 50 000 habitants du nord-est de l’Angleterre, va bientôt s’équiper d’un programme d’intelligence artificielle, rapporte mercredi 10 mai la BBC. Celui-ci, nommé Hart (harm assessment risk tool), doit aider les officiers de police à décider s’ils doivent placer en détention ou non un suspect, en évaluant les risques qu’il représente.

Conçue par la police de Durham et l’université de Cambridge, cette technologie fondée sur l’apprentissage automatique a été entraînée à partir de cinq années d’archives de la police de Durham, comprises entre 2008 et 2012. En apprenant des décisions prises par les policiers pendant cette période, et de la récidive ou non de certains suspects, la machine est censée être capable d’évaluer le risque – faible, moyen ou élevé – des suspects. Elle analyse pour cela de nombreuses données sur la personne, de son casier judiciaire à son âge, en passant par le type de méfait dont elle est suspectée ou même son code postal.

Soupçons de racisme

Testé en 2013, ses résultats ont ensuite été étudiés pendant deux ans – le temps d’évaluer le taux de récidive des personnes analysées par le programme. Résultat : les prévisions de « risque faible » se sont révélées justes 98 % du temps, et celles de « risque élevé » 88 % du temps. Une différence qui s’explique par la façon dont est conçu le programme, qui préfère surreprésenter les cas de « risque élevé ». Des résultats jugés suffisamment satisfaisants pour que la police de Durham décide de s’emparer de cet outil, a expliqué Sheena Urwin, une de ses représentantes, à la BBC.

Dans un premier temps, la machine s’exprimera sur des cas choisis aléatoirement. Aux officiers ensuite de s’en inspirer, ou non, pour décider du sort du suspect. Ce fonctionnement permettra de continuer à évaluer ce programme, sans que celui-ci ne s’exprime sur tous les cas, au risque de se révéler trop influent.

L’utilisation de ce genre de programme n’est pas une première. Aux Etats-Unis par exemple, plusieurs Etats disposent d’un outil du même type, Compas, censé évaluer le risque représenté par des suspects. Un procédé décrié, soupçonné de racisme, notamment à l’égard des Afro-Américains. C’est l’un des problèmes posés par l’apprentissage automatique : en s’appuyant sur des données et des décisions humaines, la machine risque de reproduire les mêmes biais que ses modèles.