Les femmes associées aux arts et au foyer, les hommes aux mathématiques et aux professions scientifiques… Ces stéréotypes ont tellement la vie dure qu’ils se retrouvent aujourd’hui reproduits dans des programmes d’intelligence artificielle (IA). Dans un article publié vendredi 14 avril par la revue Science, Joanna Bryson, Aylin Caliskan et Arvind Narayanan, des chercheurs des universités de Princeton (New Jersey) et de Bath (Royaume-Uni), montrent comment une technologie de machine learning (apprentissage machine) reproduit les biais humains, pour le meilleur et pour le pire.

La technologie sur laquelle ils ont basé leurs travaux s’appelle GloVe. Développée par l’université de Stanford (Californie), elle calcule les associations entre les mots, afin de mieux comprendre leur sens, qui diffère selon le contexte. Ce type de programme équipe par exemple des outils de traduction automatique qui ont considérablement progressé ces dernières années : le bête mot-à-mot cède pas à pas sa place à des propositions plus pertinentes liées aux autres mots présents dans la phrase.

Mais pour corréler des mots entre eux, GloVe doit se baser sur des exemples. D’innombrables données à partir desquelles le programme va s’entraîner pour détecter les associations les plus logiques. Une version de GloVe, fournie préentraînée, s’est basée sur Common Crawl, une base de données de milliards de textes issus du Web, sur une période de sept ans.

Reproduction de stéréotypes

Le résultat est efficace. Des mots relevant du domaine lexical des fleurs sont associés à des termes liés au bonheur et au plaisir (liberté, amour, paix, joie, paradis, etc.). Les mots relatifs aux insectes sont, à l’inverse, rapprochés de termes négatifs (mort, haine, laid, maladie, douleur, etc.). Ce qui reflète bien les liens que font eux-mêmes généralement les humains.

Mais l’efficacité de cette technologie reflète aussi des associations bien plus problématiques. Des stéréotypes sexistes sont ainsi reproduits, mais aussi racistes : les noms statistiquement plus donnés aux Noirs américains sont davantage liés à un champ lexical négatif que ceux donnés aux Blancs.

Des résultats qui correspondent en tout point à ceux d’une expérimentation célèbre en psychologie, le test d’association implicite, qui étudie les associations d’idées que font plus ou moins consciemment les humains. Conclusion :

« Nos résultats suggèrent que si nous fabriquons un système intelligent qui apprenne suffisamment sur les propriétés du langage pour être capable de le comprendre et de le produire, il va aussi acquérir, dans ce processus, des associations culturelles historiques, dont certaines peuvent être problématiques. »

Or, les grands leaders du secteur comme Google ou Facebook travaillent tous à créer ce genre de système. Et les biais de l’IA se sont déjà montrés au grand jour dans d’autres applications. L’une des plus spectaculaires était sans doute Tay, une IA de Microsoft lancée en 2016, censée incarner une adolescente sur Twitter, capable de discuter avec les internautes et de s’améliorer au fil des conversations. Las, en quelques heures seulement, le programme, apprenant de ses échanges avec des humains, s’est mis à tenir des propos racistes et négationnistes, avant d’être suspendu par Microsoft en catastrophe.

Et le problème ne se situe pas seulement au niveau du langage. Quand un programme d’IA est devenu jury d’un concours de beauté, en septembre 2016, il a éliminé la plupart des candidats noirs – les données sur lesquelles il s’était entraîné pour identifier la beauté ne contenaient pas assez de personnes à la couleur de peau noire.

« Nous avons des préjugés, que l’IA apprend »

« Beaucoup de gens nous disent que cela montre que l’IA a des préjugés, souligne Joanna Bryson dans les colonnes du Guardian. Mais non. Cela montre que nous avons des préjugés, et que l’IA les apprend. »

Laurence Devillers, chercheuse au Limsi-CNRS et auteure de l’ouvrage Des robots et des hommes (Plon), expliquait le 19 janvier le problème devant le Sénat français : « J’aime le terme de bêtise artificielle. Vous mettez n’importe quelles données pour carburant, et vous allez créer un système très désagréable, qui peut par exemple être raciste et discriminant. »

Le problème est que ces systèmes n’ont pas seulement vocation à être utilisés pour des concours de beauté ou des expériences sur Twitter. Le même jour, Serge Abiteboul, directeur de recherche à l’Inria (Institut national de recherche en informatique et en automatique), expliquait au Sénat que ces biais pouvaient avoir des conséquences bien plus graves :

« Prenez l’exemple d’une demande de prêt. [Pour le banquier], c’est une tâche relativement répétitive : à partir des données d’une personne, on décide de lui accorder le prêt ou pas. Par nature, un humain va avoir des biais et accorder ces prêts de façon injuste. On pourrait penser que l’algorithme serait beaucoup plus juste. Mais ce n’est pas si simple. Si on utilise le machine learning, alors on se base sur des données créées par les humains pendant dix ans, et l’algorithme va reproduire les préjugés que ces humains ont exprimés. »

La même logique vaut par exemple pour la sélection de CV, le prix des assurances, mais aussi pour la justice – certaines villes américaines utilisent des programmes d’IA pour tenter de prévoir les crimes en se basant sur les données passées. « Ces logiciels peuvent avoir des conséquences considérables sur nos sociétés, ils doivent donc se comporter de façon responsable », poursuit le chercheur.

Une inquiétude partagée par une grande partie des acteurs de l’IA, qui commencent à s’intéresser de près à cette question. Devant le Sénat, le représentant de Google, Olivier Esper, assurait que les chercheurs de l’entreprise travaillaient « à cerner la problématique et proposer une approche pour la traiter ».

Même démarche du côté de Microsoft : « Il faut qu’on se penche sérieusement sur la façon dont nous examinons les lots de données quand il s’agit de questions sensibles, comme la criminalité ou le gouvernement », expliquait le directeur de Microsoft Research, Eric Horvitz, le 11 mars à South by Southwest (SXSW), l’important festival américain consacré aux nouvelles technologies. Tout cela n’en est qu’aux balbutiements, et pour cause, « la prédiction basée sur des données a explosé si rapidement que cela nous a presque pris par surprise, y compris les effets pervers », avoue M. Horvitz.

Un « droit à l’explication » envisagé

Plusieurs pistes de réflexion sont évoquées. Des chercheurs de l’université d’Oxford (Royaume-Uni) prônent dans un article la mise en place d’une autorité chargée d’auditer ces algorithmes, et d’enquêter quand un citoyen s’estime victime de discrimination de la part de l’algorithme. L’Union européenne travaille de son côté sur un « droit à l’explication », qui imposerait aux entreprises utilisant ces programmes d’être capables d’expliquer les décisions qu’ils prennent aux personnes concernées.

Problème, beaucoup de ces programmes sont basés sur le deep learning, une technologie d’apprentissage très efficace, mais très opaque. Les personnes elles-mêmes développant ces programmes ne sont pas en mesure d’expliquer comment ceux-ci arrivent à telle ou telle conclusion – elles sont le produit d’innombrables microcalculs qu’il serait fastidieux d’analyser. Un problème auquel s’attaquent désormais les spécialistes et dans lequel investissent les grandes entreprises. Car il s’agit pour elles d’un enjeu important, qui pèsera sans doute dans l’acceptation de ces technologies par la société.

D’autres pistes évoquées pour lutter contre les biais des IA sont aussi, par exemple, que celles-ci soient conçues par une population plus hétéroclite, à savoir moins masculine et blanche. Enfin, le plus évident pourrait être de s’attaquer aux données, car ce sont elles qui sont initialement biaisées. Mais comment intervenir sur des corpus comprenant des millions, voire des milliards d’éléments ? Le choix de supprimer un biais pour en conserver un autre (comme les insectes associés à des mots négatifs) est lui-même sujet à questionnement. Et si les lots de données sont censurés et rectifiés, comment le seront-ils selon les pays, les cultures, les régimes ? Qui plus est, si l’objectif est in fine de permettre aux programmes d’IA de comprendre le langage en se basant sur l’interprétation du monde par les êtres humains, modifier les données pourrait fausser l’ensemble.

Finalement, s’il fallait agir sur la source du problème, alors ce serait l’humain qu’il faudrait modifier. Et certains glissent que ces programmes biaisés pourraient au moins représenter une opportunité pour mettre au jour leurs préjugés et pratiques discriminatoires, comme le suggère Sandra Wachter, chercheuse en éthique des données et des algorithmes à Oxford, dans les colonnes du Guardian : « Au moins avec les algorithmes, nous pouvons potentiellement savoir quand les programmes sont biaisés. Les humains, eux, peuvent mentir sur les raisons pour lesquelles ils n’embauchent pas quelqu’un. A l’inverse, les algorithmes ne mentent pas et ne nous trompent pas. »