Les messages agressifs et haineux pullulent en ligne, et polluent, entre autres, les fils de commentaires de nombreux sites. Jigsaw, une organisation appartenant à Google et dont le but affiché est de « rendre le monde plus sûr grâce aux technologies », devait annoncer jeudi 23 février la mise à disposition de tous en open source d’une technologie censée aider à assainir les fils de discussion.

Perspective, c’est son nom, a été testée plusieurs mois sur le site du New York Times. Il s’agit d’une technologie d’intelligence artificielle, ou plus précisément de machine learning (apprentissage des machines), capable d’évaluer, sur une note de 1 à 100, le degré de « toxicité » d’un commentaire. Pour y parvenir, elle a analysé des millions de commentaires du New York Times – mais aussi de Wikipédia – et scruté la façon dont ils étaient traités par l’équipe de modération du site. Le programme a ainsi appris à repérer les commentaires problématiques, en se basant sur l’expérience des humains qui l’ont précédé à cette tâche.

Cet outil permet donc d’évaluer un commentaire bien plus rapidement qu’un humain – et pour un coût bien moindre. Mais n’a pas pour autant vocation à remplacer les modérateurs. Et pour cause : « Cette technologie est loin d’être parfaite », reconnaît volontiers Jared Cohen, le fondateur de Jigsaw, soulignant qu’il ne s’agit que « des premiers pas » de ce programme : « Plus l’outil sera utilisé, plus il s’améliorera. »

Créer un environnement plus sain

Les sites peuvent d’ailleurs l’utiliser comme bon leur semble : ils peuvent par exemple faire en sorte que les commentaires repérés comme étant les plus problématiques soient envoyés en priorité aux modérateurs humains. Ils peuvent aussi donner la possibilité aux internautes de classer les commentaires en fonction de leur degré de « toxicité ». Ou pourquoi pas, propose Jigsaw, afficher un message au commentateur lui-même, au moment où il s’apprête à publier un message détecté comme violent ? Avec cette dernière méthode, « il est possible de réduire ce genre de discours de façon impressionnante », assure Jared Cohen, en référence à une expérimentation du même type menée par Riot Games, l’éditeur du jeu vidéo très populaire « League of Legends ».

Jigsaw espère ainsi permettre à ces sites « d’héberger des conversations de meilleure qualité », explique Jared Cohen, mais aussi de créer un environnement plus sain pour faire revenir les personnes n’osant plus participer aux discussions. Outre le New York Times, plusieurs médias comme le Guardian ou The Economist se sont montrés intéressés. Pour l’instant, la technologie fonctionne en anglais, mais sera bientôt accessible dans d’autres langues.