Capture d’écran YouTube.

Imaginez la scène : votre enfant regarde paisiblement les aventures de Minnie et Mickey sur sa tablette pendant que vous préparez le dîner. Soudain, un hurlement d’horreur vient troubler votre bonheur domestique : sur l’écran, Mickey est en train d’éviscérer Minnie.

Cette scène, plusieurs familles américaines l’ont vécue avec leurs très jeunes enfants. En cause ? YouTube Kids, une chaîne YouTube destinée aux tout-petits, sur laquelle des plaisantins ont trouvé le moyen d’introduire des versions « trash » de dessins animés populaires.

Ceux-ci vont de l’étrange au franchement inquiétant, en reprenant des personnages clés de productions Disney ou Nickelodeon, leaders sur le marché. On peut y voir, selon quelques exemples relevés par le New York Times et supprimés depuis, Spiderman en train de faire pipi dans la baignoire d’Elsa, l’héroïne de La Reine des neiges ; Mickey renversé par une voiture et gisant dans son sang ; ou encore les personnages de Paw Patrol se rendant dans un club de strip-tease.

Une plate-forme pensée pour les enfants

YouTube Kids est plébiscitée par les parents, car cette application permet à la fois d’offrir une autonomie à l’enfant (les dessins animés se lancent automatiquement), tout en offrant un paramétrage par tranche d’âge censé garantir des contenus adaptés. Mais le système de filtrage des contenus est géré par un algorithme, et certaines vidéos ont visiblement échappé à sa vigilance. Les comptes responsables de ces contenus portent des noms similaires à ceux des vrais distributeurs, et utilisent des mots-clés que l’on retrouve dans les titres des véritables dessins animés, comme « learn colors » (« apprendre les couleurs ») ou « education ».

Les motivations des créateurs de ces vidéos ne sont pas claires. Un post de l’auteur américain James Bridle sur la plate-forme Medium, repéré par Slate, défend l’idée que certaines de ces vidéos ont été automatisées « et associent de façon absurde des mots-clés populaires et des personnages piratés déclinant d’infinies variations sur un même thème », résume Slate.

Invité à réagir sur ce sujet début novembre, Malik Ducard, le directeur des contenus famille et apprentissage de YouTube a défendu l’entreprise en tentant de minimiser l’impact de ces vidéos, qu’il qualifie « d’aiguille dans une botte de foin », selon des propos rapportés par le New York Times. Il a ajouté que « ces trente derniers jours, moins de 0,005 % des contenus disponibles sur YouTube Kids ont dû être supprimés ».

« Le contrôle humain est tout simplement impossible »

Cette mésaventure collective des parents sur YouTube inspire à Slate une réflexion sur l’importance que les algorithmes prennent dans nos vies. Citant le post de James Bridle, Slate nous fait comprendre que le problème ne vient pas de YouTube, mais, plus généralement, de la place que nous laissons à ces plates-formes (YouTube, Facebook, Twitter, Netflix) pour gérer et proposer des informations.

« Nous avons bâti un monde qui fonctionne à grande échelle, où le contrôle humain est tout simplement impossible », expliquait M. Bridle sur Medium. Aujourd’hui, il s’agit de vidéos pour enfants sur YouTube. Mais le problème se pose pour tous les contenus circulant sur Internet, « le nationalisme blanc, les idéologies religieuses violentes, les fake news, le déni du réchauffement climatique… ». Ce système de gestion algorithmique des contenus, où la modération et le filtrage « manuel » sont souvent inefficaces ou tardifs, a fait que nous plaçons une confiance trop grande en un système de gestion des données qui ne peut pas être parfaitement efficace, tout simplement parce qu’il y en a trop.

D’où la métaphore de « l’aiguille dans une botte de foin », utilisée par le responsable de YouTube, à la fois « trompeuse » et « curieusement adaptée », selon Slate. A chaque fois qu’un problème de ce type se pose, les plates-formes réagissent de la même manière, en arguant du fait que les dérapages sont « rares ». Mais la métaphore est trompeuse, car une « aiguille dans une botte de foin » est impossible à trouver, or les enfants ont trouvé ces vidéos sans même les avoir cherchées.

En même temps, une aiguille dans une botte de foin, même une seule, si le foin est destiné à être mangé par vos vaches, n’est-ce pas une aiguille de trop ? Et Slate de conclure :

« Si vous travaillez dans le secteur de la fourniture de foin, il vous incombe de vous assurer que vos bottes sont méticuleusement dépourvues de la moindre aiguille. C’est exactement ce que YouTube ne fait pas. »