Quand un utilisateur pose une question à son assistant vocal, il n’y a pas qu’un ordinateur qui écoute… L’agence de presse Bloomberg a consacré, jeudi 11 avril, une enquête aux milliers de personnes chargées, par Amazon, d’écouter une partie des enregistrements des utilisateurs d’Alexa, son assistant vocal.

Alexa est notamment présente sur les enceintes connectées Amazon Echo. Vendues à bas prix, ces enceintes ont commencé à coloniser les foyers français. Quand on leur pose une question, celle-ci est retransmise à de grandes fermes d’ordinateurs qui les déchiffrent immédiatement, puis choisissent la réponse à renvoyer. Le tout piloté par un programme d’intelligence artificielle (IA) capable, selon le site d’Amazon, de s’améliorer de façon autonome : « Alexa vit dans les nuages et devient chaque jour un peu plus intelligente. »

Or, pour s’améliorer, ce système d’IA est épaulé par des milliers d’employés en chair et en os, qui écoutent et décortiquent des requêtes d’utilisateurs. Pourtant, lorsqu’on consulte la foire aux questions du site français d’Amazon, rien ne le laisse entendre.

Un travail d’annotation

Ces personnes retranscrivent chacune jusqu’à un millier de questions par jour, mot à mot, puis les annotent pour aider le programme d’IA à mieux interpréter les intentions des utilisateurs. Par exemple, explique l’article de Bloomberg, Alexa comprend souvent mal l’expression française « avec ça », qu’elle confond avec… « Alexa ». Ce qui peut malencontreusement déclencher un enregistrement non désiré par l’utilisateur. Les employés chargés d’écouter doivent donc labelliser toutes les occurrences de l’expression « avec ça » qu’ils l’entendent – ainsi, le programme d’IA pourra s’améliorer et faire moins d’erreur à ce sujet précis. Ces employés peuvent aussi écouter les requêtes et vérifier si Alexa leur a répondu correctement.

Bloomberg a pu parler (sous le sceau de l’anonymat) à sept employés d’Amazon qui travaillent à l’amélioration d’Alexa. Selon eux, les bureaux des employés qui exercent ce travail sont situés aux Etats-Unis, mais aussi en Inde, au Costa Rica et en Roumanie. Ils travaillent soit directement pour Amazon, soit pour des sous-traitants.

Des enregistrements pas si anonymes

Quels sont les enregistrements qui arrivent jusqu’à leurs oreilles ? Interrogé par Bloomberg, Amazon a assuré qu’il ne s’agissait que d’un « échantillon extrêmement petit », dans le but « d’améliorer l’expérience client ».

En principe, une enceinte Echo n’est censée enregistrer ses propriétaires qu’au moment où ceux-ci posent leurs questions à Alexa. Occasionnellement cependant, l’assistant vocal enregistre des conversations qui ne le concernent pas, après avoir détecté par erreur la commande vocale « Alexa » censée déclencher l’enregistrement. Selon l’enquête de Bloomberg, ces erreurs représenteraient jusqu’à 10 % des enregistrements écoutés par les employés d’Amazon.

Le journaliste de Bloomberg pointe des dangers avérés pour la vie privée :

« De temps en temps, les employés tombent sur des enregistrements qui auraient dû rester privés : une femme qui chante très faux sous sa douche, ou un enfant qui crie à l’aide, par exemple. »

Deux personnes interrogées par Bloomberg ont même cru être témoins d’une agression sexuelle, mais selon Bloomberg, leur direction leur aurait fait savoir que leur métier n’était pas d’interférer dans ce genre d’affaire. Ces enregistrements, par ailleurs, ne sont pas seulement consultables sur l’ordinateur d’un seul employé, dans un logiciel ne donnant aucune possibilité de partage, écrit Bloomberg : « Les équipes utilisent des logiciels de dialogue en groupe pour partager certains enregistrements, lorsqu’ils ont besoin d’aide pour déchiffrer une voix inaudible par exemple, mais aussi lorsqu’ils tombent sur quelque chose d’amusant. »

Amazon a tenu à préciser à l’agence de presse que « les employés n’ont pas un accès direct aux informations qui pourraient identifier la personne enregistrée ». Mais d’après Bloomberg, les employés ont accès, sur leur écran, au prénom du propriétaire de l’enceinte, ainsi qu’à un numéro de compte. En outre, ces enregistrements ne sont pas amputés des informations personnelles qu’ils pourraient contenir, adresse ou nom, avant que ses employés puissent les écouter. Dans de rares cas, il est donc possible que des employés puissent identifier le propriétaire d’une l’enceinte.

Apple, Google et Microsoft s’appuient aussi sur des humains

Les enceintes d’Amazon (à gauche) se partagent le marché avec celles d’Apple (au centre) et Google (à droite). / NICOLAS SIX / LE MONDE

Les trois autres grands fabricants d’enceintes connectées, Apple, Google et Microsoft recourent, eux aussi, à des écoutes humaines pour améliorer les performances de leurs produits. En 2018, l’association française de défense des libertés numériques La Quadrature du Net a recueilli le témoignage d’une ancienne employée d’un sous-traitant de Microsoft, Julie, qui travaillait à l’amélioration de l’assistant personnel de Microsoft, Cortana, depuis son domicile. Dans une longue vidéo, visage caché, elle y décrit un travail proche de celui des employés d’Amazon.

Julie y évoque par exemple les recherches de vidéos pornographiques de certains utilisateurs. « Je me demandais à chaque fois si ces gens avaient conscience qu’une personne extérieure allait entendre leurs petits délires sexuels. » Elle précise que la plupart des enregistrements duraient dix à quinze secondes, mais que certains duraient des minutes : des utilisateurs dictant leurs comptes rendus professionnels ou leurs courriers administratifs, ou encore des conversations Skype traduites à la volée par Skype Translator (Skype appartient à Microsoft).

« Nous n’avions jamais l’intégralité des conversations évidemment, elles étaient découpées en petites pistes ; cependant on pouvait tomber sur plusieurs morceaux d’une même conversation dans une même série de transcriptions. C’était suffisant pour dresser un profil basique de l’utilisateur ou de son humeur du moment par exemple. (…) Inévitablement, il arrivait que les utilisateurs révèlent un numéro de téléphone, une adresse, des coordonnées, date de naissance, numéros importants, événements auxquels ils allaient se rendre, etc. (…) Pas un seul des nombreux e-mails du manager que nous recevions chaque semaine n’a jamais été dédié au respect de la vie privée – en ligne et hors ligne – des utilisateurs. »

Dans ce témoignage édifiant, Julie décrit un processus de recrutement sommaire et une relation de travail distante qui posent des questions sur le degré d’attention à la vie privée du sous-traitant de Microsoft.

« Pour pouvoir être embauché – ils recrutaient en grand nombre –, il fallait s’inscrire sur le site de l’entreprise, postuler, puis suivre une formation en ligne conclue par un examen final. Si on avait un pourcentage de réussite satisfaisant, on était engagé. Auquel cas, le manager nous faisait créer un compte sur le site Internet de télétravail (…), et le travail commençait. Il n’y avait pas besoin d’envoyer son CV, ni aucun entretien individuel avec un responsable ou un manager, ni par téléphone, ni par Skype, ni par e-mail, rien. »