La panne de Facebook a permis de dévoiler comment ses logiciels déchiffrent nos photos
La panne de Facebook a permis de dévoiler comment ses logiciels déchiffrent nos photos
Par Michaël Szadkowski
Le réseau social a connu des dysfonctionnements qui empêchaient d’afficher des images. Des utilisateurs ont découvert, à la place, des mots décrivant leur contenu.
Dans la journée et la soirée du mercredi 3 juillet, une panne de Facebook (désormais réparée) a empêché l’affichage et l’envoi d’images dans la plupart des applications du groupe : Facebook, Instagram, Messenger, et Whatsapp.
A la place des images qu’on tentait d’envoyer ou d’afficher, se trouvaient des carrés blancs, ou des messages d’erreurs expliquant que les images étaient impossibles à télécharger. Mais plusieurs utilisateurs, dans différentes parties du monde, dont la France, ont découvert autre chose à la place : des mots.
la panne CDN de Facebook et d'instagram permet de voir comment sont analysées nos photos 😉 #instagramdown… https://t.co/gl1ujwUy3y
— cm3r (@Cmer ⎈ 🐳)
Grâce au site spécialisé The Verge, on sait d’où viennent ces mots : de logiciels conçus par Facebook pour analyser nos images, et y détecter automatiquement les éléments qui y figurent. Ces logiciels, fondés sur des technologies de machine learning (apprentissage automatique), ont été déployés par Facebook en 2016. Ils servent à générer des descriptions d’images pouvant, entre autres, être utiles aux personnes aveugles, qui utilisent des outils de retranscriptions vocales capables de lire du texte à l’écran. Cette technologie aide également à pouvoir identifier automatiquement des personnes sur des photos.
« 4 personnes, des personnes debout et des chaussures »
Comme le note The Verge, cette panne a pu donner un aperçu de ce que ces logiciels de Facebook comprennent (ou pas) et interprètent lorsque vous postez des selfies ou des photos de vacances.
One nice thing about Facebook being utterly borked right now is it gives you a chance to see what its (very nice!)… https://t.co/KTDQOvp5M6
— backlon (@Dieter Bohn)
Dans les exemples postés pendant la panne, on note que sont surtout reconnus le nombre de personnes affichées, des objets ou éléments de décor, sans grande précision. « 4 personnes, des personnes debout et des chaussures », peut-on par exemple lire dans une capture d’écran publiée par The Verge.
Ces informations pourraient cependant servir, selon le média américain, à renseigner Facebook sur les centres d’intérêts de ses utilisateurs. On pense aux personnes qui postent sans cesse des photos d’enfants, ou d’animaux, ou de concerts, ou d’activités sportives par exemple. Les mots générés à partir de ces photos pourraient alimenter des bases de données liées à un utilisateur, qui permettraient, au bout du compte, à Facebook de mieux cibler les publicités diffusées sur sa plate-forme – sa principale source de revenus, générant des milliards de dollars.
Maintenant que la panne est finie, il reste un moyen de savoir ce que Facebook a compris des images de votre profil, nous apprend Le Blog du modérateur. Sur chaque photo que vous avez postée, faites un clic droit, puis utiliser la fonction « inspecter » de votre navigateur. Vous verrez alors quels sont les mots générés à partir de votre image. En l’occurrence, pour l’exemple ci-dessous : « Une personne, avec une barbe » – une description qui satisfait pleinement cet utilisateur de Facebook.
Oh yeah! I forgot Facebook uses machine learning to tag our photos with what it sees in the picture. To be fair,… https://t.co/oPktTvEPDD
— zackwhittaker (@Zack Whittaker)