Facebook dévoile le fonctionnement de ses logiciels de modération des images contenant du texte
Facebook dévoile le fonctionnement de ses logiciels de modération des images contenant du texte
L’entreprise a développé un système, appelé « Rosetta », capable de déchiffrer les textes figurant sur une photographie ou dans une vidéo.
Ce pingouin est-il nazi ? C’est le type de question à laquelle les équipes de modération de Facebook doivent répondre chaque jour – et ce pour plus d’un milliard de photographies et de vidéos postées quotidiennement par les utilisateurs de Facebook et d’Instagram.
Pour aider les 7 500 modérateurs humains à nettoyer la plate-forme de contenus abusifs, Facebook a mis en place différents systèmes de triage automatique des messages qui sont signalés par ses utilisateurs. Si ces logiciels peuvent facilement analyser et trouver des mots-clés problématiques dans les messages textes, leur tâche est beaucoup plus complexe pour les images qui contiennent du texte.
Dans un article publié sur la partie de son site réservée aux développeurs, mardi 11 septembre, Facebook a pour la première fois détaillé le fonctionnement d’une partie de ses logiciels qui travaillent sur le sujet. Appelé « Rosetta » (en référence à la pierre de Rosette, utilisée par Champollion pour déchiffrer les hiéroglyphes égyptiens) le système de Facebook cumule plusieurs « briques » logicielles, qui sont confrontées à l’analyse du texte capturé par les appareils photo (blagues écrites sur le frigo, affiches dans les manifestations, etc.), ou des textes ajoutés en surimpression par les utilisateurs.
Efficace pour les textes en alphabet latin
Ce que cherche à faire l’entreprise est « très différent des problèmes habituellement résolus par les logiciels de reconnaissance de caractères classiques, qui identifient les caractères mais qui ne comprennent pas le contexte de l’image associée », explique Facebook.
Dans une première étape, un réseau neuronal, un système d’intelligence artificielle qui s’améliore au fur et à mesure de son utilisation, détecte les zones de l’image qui semblent contenir du texte. Un second réseau neuronal analyse ensuite le contenu des zones pour y détecter des caractères, quelle que soit leur langue, et transcrire le message en version texte. Ce qui permet enfin une analyse automatique de ces textes pour voir s’ils sont conformes (ou non) à la politique de modération de contenus de Facebook (interdisant notamment le harcèlement, les discours haineux, la promotion du suicide…).
A ce stade de développement, Rosetta est efficace pour les textes en alphabet latin, mais reste limitée pour les langues qui utilisent d’autres alphabets, reconnaît Facebook. « Un modèle unique pour des langues très différentes risque d’être médiocre pour chacune d’entre eux », explique l’entreprise, qui affirme continuer à investir dans cette technologie mais qui note que ses progrès sont limités par l’absence, dans certains langages, d’importantes bases de données d’images annotées qui peuvent servir à « entraîner » ses logiciels.
Selon Facebook, le système n’est pas uniquement utilisé pour la modération : « Les textes extraits sont utilisés par de très nombreux systèmes d’apprentissage automatique, par exemple pour améliorer la pertinence de la recherche d’image » ou pour « apporter une meilleure personnalisation des photos qui apparaissent dans le fil d’actualité ».
