« Norman, la première intelligence artificielle psychopathe au monde ». Les ingénieurs du prestigieux Massachusetts Institute of Technology (MIT) n’y sont pas allés de main morte pour présenter leur dernière expérimentation. Là où les chercheurs en intelligence artificielle (IA) tendent plutôt à déplorer les fantasmes de science-fiction généralement associés à leur domaine de travail, à base d’IA malveillantes hors de contrôle, les trois membres du MIT Media Lab à l’origine de « Norman » jouent au contraire pleinement cette carte – illustration effrayante à l’appui.

Et pour cause : l’expérience, d’ordre « artistique », selon un des chercheurs, a pour but d’attirer l’attention sur l’un des problèmes bien réels des technologies d’IA. Non pas le fait qu’elles puissent soudain devenir, en effet, « psychopathes » ; mais les biais humains qu’elles reproduisent, qu’ils soient racistes, sexistes ou autres.

« Un homme abattu devant sa femme qui hurle »

Norman est en fait un programme de reconnaissance d’images, chargé de définir en quelques mots ce qu’il y perçoit. De nombreux programmes de ce type existent, et fonctionnent tous sensiblement de la même façon. En résumé, on leur fournit des milliers, voire des millions, d’images assorties de légendes, afin qu’ils « apprennent » à reconnaître leur contenu. Par exemple, après avoir vu des milliers de photos de vaches dans un pré, accompagnées d’une description, ce type de technologie est théoriquement en mesure, quand elle découvre une photo inédite de vache dans un pré, de la légender correctement.

Norman fonctionne sur le même principe. Avec une différence notable : elle interprète chacune des images qu’elle voit comme une scène morbide. Les chercheurs du MIT (Pinar Yanardag, Manuel Cebrian et Iyad Rahwan) lui ont ainsi soumis des images de taches d’encre, en s’inspirant du célèbre test de Rorschach. Dans la première, Norman y voit par exemple « un homme électrocuté jusqu’à en mourir » – tandis qu’une IA « normale » décrit plutôt « un groupe d’oiseaux posés sur une branche d’arbre ». Dans une autre, il détecte « un homme abattu devant sa femme qui hurle », tandis que l’IA « normale » y trouve « une personne qui tient un parapluie dans l’air ».

Pourquoi une telle différence d’interprétation ? La nuance réside dans les photos avec lesquelles ces deux IA ont été « entraînées ». Une IA classique de reconnaissance d’images peut être nourrie avec des lots de photos généralistes et très variées. Les images qui ont servi à Norman, en revanche, sont très particulières : elles viennent toutes d’une section de Reddit – un des plus grands forums au monde – « consacrée à documenter et observer la réalité dérangeante de la mort », expliquent les chercheurs. Ceux-ci n’ont pas voulu citer le nom de ce « subreddit » sulfureux « à cause de son contenu explicite », mais il s’agit d’un espace où les utilisateurs publient des vidéos dans lesquelles des personnes trouvent la mort, lors d’un accident, d’un meurtre ou tout autre événement. Chacune des vidéos est accompagnée d’une légende la décrivant de façon très factuelle.

Ainsi, Norman a été exclusivement nourri de captures d’écran de ces vidéos trash, accompagnées de légendes macabres. Ces images et ces mots représentent donc la seule réalité que le programme connaisse : c’est pourquoi en analysant une tâche d’encre, Norman y verra un meurtre et non un bouquet de fleurs. A l’inverse, si Norman avait été entraîné avec des photos des chiots et de chatons, il en verrait dans chacune de ces taches.

« Une étude de cas sur les dangers de l’IA »

« Norman vient de l’idée que les données utilisées pour entraîner un algorithme d’apprentissage peuvent influencer son comportement de façon considérable », expliquent les chercheurs sur leur site. Ce programme « représente une étude de cas sur les dangers de l’intelligence artificielle si des données biaisées sont utilisées ».

La question du biais des lots de données qui entraînent les technologies d’intelligence artificielle n’est pas nouvelle – ces dernières années, plusieurs dérives ont été constatées. Ainsi, quand un programme d’IA est devenu juré d’un concours de beauté en 2016, il a éliminé la plupart des candidats noirs. Un autre système d’IA, censé émettre des liens entre les mots, a reproduit certains stéréotypes, en associant par exemple les femmes au foyer et les hommes aux professions scientifiques…

La question du biais des IA et donc des bases de données est devenu un sujet de réflexion et de recherche à part entière. Google, qui a publié jeudi une série de règles d’éthique qu’elle comptait s’appliquer dans ce domaine, a notamment évoqué cette question des biais. L’entreprise assure qu’elle tentera d’« éviter les incidences injustes sur les gens, notamment en ce qui concerne des caractéristiques sensibles, comme la race, l’ethnie, le genre, la nationalité, le revenu, l’orientation sexuelle, le handicap et les convictions politiques ou religieuses ». Elle a aussi défini quelques bonnes pratiques pour y parvenir.

L’expérience du MIT ne s’arrête toutefois pas là : les chercheurs proposent aux internautes d’« aider Norman à se soigner » en donnant, eux aussi, leur interprétation des taches d’encre. S’ils sont suffisamment nombreux à contribuer, et à enrichir ainsi une nouvelle base de données, peut-être Norman parviendra-t-il à avoir une vision plus « humaine » de ces images ?