La question revient avec insistance depuis l’attentat de Christchurch, en Nouvelle-Zélande. On peut la résumer de manière peut-être un peu crue, mais néanmoins pertinente, grâce à un commentaire abondamment aimé et commenté sur la page Facebook de l’émission Quotidien, sur TMC :

« C’est dingue comment Facebook est beaucoup plus rapide à bloquer une photo de mon cul qu’une vidéo d’assassinats terroristes en direct… »

L’auteur de l’attentat terroriste de Christchurch a en effet diffusé sur son profil Facebook le massacre de cinquante personnes dans deux mosquées. Face à cela, et au-delà des questions sur le succès du discours haineux d’extrême droite sur les réseaux sociaux, et l’absence de fermeté politique au niveau mondial sur le sujet, deux accusations sont formulées contre Facebook. Au point où, en une semaine, le réseau social a communiqué plusieurs fois longuement sur le sujet – notamment dans un texte traduit en français jeudi 21 mars.

La première interrogation : pourquoi Facebook n’a pas réussi à détecter en temps réel la vidéo de l’attentat et réussi à la supprimer, comme Facebook parvient pourtant à le faire quotidiennement pour les images de poitrines féminines dénudées (qui restent proscrites sur la plate-forme).

La seconde : pourquoi Facebook n’est pas parvenu à supprimer des centaines de milliers de répliques de la vidéo du terroriste postées par des internautes du monde entier dans les heures et les jours qui ont suivi l’attentat. Ceci dans un contexte où Facebook dispose pourtant des meilleurs talents en développement et en intelligence artificielle dans monde. Et que, depuis la vague d’attentats de l’Etat islamique, Facebook se vante de supprimer la quasi-totalité des contenus djihadistes avant même qu’ils ne soient postés.

Pour avancer sur ces questions, il faut revenir sur les limites de l’intelligence artificielle et la manière dont Facebook modère les contenus terroristes.

Images connues, ou inédites ?

Dans les faits, Facebook fait face à deux types de contenus terroristes. D’une part, ceux qu’elle connaît déjà : c’est le cas de la vidéo de l’attentat de Christchurch après l’attaque, ou de nombreuses vidéos de propagande de l’organisation Etat islamique. Le réseau social partage avec certains autres réseaux sociaux (comme Twitter) une base de données de vidéos identifiées comme telles. A chaque vidéo postée par un utilisateur, Facebook la compare, pixel par pixel, à toutes les vidéos terroristes de cette base de données. Facebook n’identifie donc pas le terrorisme comme le font les humains : il regarde simplement si les pixels d’une vidéo nouvelle sont identiques ou non aux pixels d’une vidéo qu’il connaît déjà. Et empêche la publication des copies de contenus terroristes déjà référencés.

Cette méthode fonctionne pour les contenus djihadistes (et, par ailleurs pour les contenus pédocriminels). Toutefois, Facebook a admis que 300 000 copies de la vidéo en direct du terroriste ont pu être postées sur son réseau. Pourquoi cela n’a-t-il que partiellement fonctionné pour la vidéo de l’attentat de Christchurch dans les heures et les jours après l’attaque ? Cet événement soulève des questions, dont Facebook devra s’expliquer.

D’autre part, Facebook est parfois confronté à des vidéos terroristes que le réseau social ne connaît pas, qui apparaissent sur son fil pour la première fois. C’est le cas des images en direct du terroriste de Christchurch, enregistrées au moment où il les diffuse. Le mécanisme décrit plus haut ne fonctionne plus, puisque la vidéo est inédite. Dans ce cadre, Facebook compte majoritairement sur les signalements de ses utilisateurs. Selon Facebook, aucun utilisateur ayant visionné la vidéo ne l’a signalée pendant sa diffusion en direct, et elle a été vue 4 000 fois avant sa suppression. Facebook ne dispose pas, à l’heure actuelle, des moyens pour reconnaître automatiquement que ces images constituent un acte de terrorisme en direct.

Les limites de la modération automatique

Face à ce dernier cas de figure : Facebook pourrait-il entraîner ses algorithmes d’intelligence artificielle pour faire aux vidéos terroristes inédites ce qu’il fait aux seins nus féminins ? En effet, Facebook en prohibe la publication, sauf sous certaines conditions (publication à visée artistique ou de sensibilisation à certaines maladies). Et il le fait, dans de nombreux cas, sans l’assistance de ses utilisateurs. Simplement en « reconnaissant » sans l’aide d’être humains une poitrine féminine.

Le problème vient de cette intelligence artificielle, qui n’est pas encore, en réalité, encore si intelligente que ça. Les algorithmes d’identification de contenus fonctionnent infiniment mieux pour les seins que pour le terrorisme. Il n’est pas si difficile de comprendre pourquoi : dans la vie, un nouveau-né est capable d’identifier un sein, pas de reconnaître un discours d’Abou Bakr Al-Baghdadi.

Il est techniquement possible de détecter un sein en entraînant une machine à reconnaître l’agencement des pixels et leur couleur. Mais comment entraîner une machine à détecter le terrorisme, puisque ce dernier réside plus dans l’intention de l’auteur, et le contexte de la diffusion, que dans ce qui est réellement vu ? On pourra objecter que, sans parler de terrorisme, reconnaître automatiquement la vidéo d’une tuerie est possible en identifiant sur les vidéos des armes ou des coups de feu. Sans doute, mais la présence de ces marqueurs ne suffit pas à dire qu’une vidéo ou qu’une image sont de caractère terroriste.

Qu’en est-il des images extraites de films (telles qu’une bande-annonce de film d’action) ou de scènes de jeux vidéo particulièrement réalistes ? Les logiciels de modération automatique ne permettent pas encore de déterminer l’intention réelle du diffuseur – et de bloquer de manière préventive – les images diffusées. Sauf à bloquer indistinctement tous types d’images ou de contenus pouvant se rapprocher d’une revendication terroriste, ou d’un acte de terrorisme. Une mission impossible. On imagine qu’un jour, les terroristes pourraient poster des revendications dans un discours lu sur une image de Tour Eiffel : faudra-t-il alors interdire a priori toutes les Tour Eiffel sur Facebook ?

Comprendre les capacités réelles des systèmes d’intelligence artificielle est ainsi indispensable pour demander les comptes nécessaires à Facebook. On comprendra qu’ils ne sont, dans la plupart des cas, pas encore mûrs pour décider ce qui a droit ou non de cité, en ligne, en dehors de contenus facilement reconnaissables (comme la pornographie). La modération automatique des contenus est pourtant, actuellement, brandie par les pouvoirs publics (récemment par le gouvernement français dans son projet de loi contre la haine) comme par les réseaux sociaux pour résoudre les défis phénoménaux de la modération des contenus. La vidéo en direct du massacre de Christchurch montre que, malgré des progrès, de nombreuses équations restent à résoudre.