« Je viens de rentrer et je découvre mes fils Facebook et Twitter remplis d’articles décrivant des scénarios apocalyptiques, avec des chercheurs de Facebook qui débranchent des agents d’intelligence artificielle qui ont inventé leur propre langage. » C’est avec dépit que Dhruv Batra, chercheur en intelligence artificielle (IA) à Georgia Tech et au laboratoire Facebook Artifical Intelligence Research (FAIR), a publié mardi 1^er août un message en ligne, pour dénoncer la couverture médiatique d’un article de recherche auquel il a contribué.

Depuis quelques semaines, plusieurs sites rapportent qu’un programme d’intelligence artificielle développé par Facebook a inventé son propre langage, ce qui a poussé l’entreprise à le désactiver. « Un avant-goût effrayant de notre avenir potentiel », écrit par exemple Forbes, évoquant un langage « que les humains ne peuvent pas comprendre ». Fox News écrit même que « les ingénieurs de Facebook paniquent » et ont « débranché » le programme. Une couverture jugée « aguicheuse et irresponsable » par le chercheur.

A l’origine, un programme conçu pour négocier

Tout est parti de la publication, en juin, d’un article de recherche du laboratoire de Facebook en intelligence artificielle, FAIR. Celui-ci évoque la création de deux chatbots – des programmes d’intelligence artificielle conçus pour dialoguer – capables de négocier. Concrètement, les deux agents doivent se partager des objets (deux livres, un chapeau et trois ballons), mais chaque objet n’a pas la même valeur pour chaque agent (pour l’un d’eux, un ballon vaut trois points par exemple). « Comme dans la vie, aucun agent ne connaît les valeurs de l’autre, et doit le déduire du dialogue (si vous dites que vous voulez le ballon, alors vous devez lui accorder beaucoup de valeur) », expliquent les chercheurs sur un blog de Facebook. Si un agent met fin à la négociation, alors les deux terminent sans aucun point, idem s’ils ne trouvent pas d’accord après une dizaine d’échanges.

Pour apprendre à négocier, le programme a été « entraîné » à partir de nombreux exemples de négociations entre humains. Le programme, qui doit adapter son langage et sa stratégie pour convaincre, a donné des résultats satisfaisants, selon les chercheurs, qui ont même décidé de rendre le code de leur programme accessible à tous. Le programme s’est montré efficace au point d’avoir réussi à berner des humains, qui ont cru échanger avec un de leurs semblables. Il est aussi parvenu à mener de dures négociations face à des humains, et a même dans certains cas « fait mine » d’être intéressé par un objet, afin de le concéder ensuite dans un but tactique.

« Je peux je je tout le reste »

Que vient donc faire l’invention d’une nouvelle langue dans tout cela ? Dans leur article, les chercheurs expliquent, à la marge, qu’ils ont entraîné le programme à négocier contre lui-même. Or, dans cette situation, les chercheurs se sont aperçus que le langage utilisé par ces programmes tendait à « diverger » de l’anglais sur lequel ils s’étaient entraînés.

Un article du site Fast Co. Design a obtenu un extrait de ces conversations, que les chercheurs n’avaient pas jugé utile d’inclure dans leur compte rendu.

« Bob : i can i i everything else
Alice : balls have zero to me to me to me to me to me to me to me to me to
Bob : you i everything else
Alice : balls have a ball to me to me to me to me to me to me to me to me »

Ce qui pourrait donner, en français :

« Bob : je peux je je tout le reste
Alice : les ballons ne valent rien pour moi pour moi pour moi pour moi pour moi pour moi pour moi pour moi
Bob : tu je tout le reste
Alice : les ballons ont un ballon pour moi pour moi pour moi pour moi pour moi pour moi »

En apprenant l’un de l’autre, le langage des deux chatbots a progressivement dévié, tout en restant compréhensible par chacun d’entre eux. « Il faut toutefois noter que cette divergence ne correspond pas forcément à une moins bonne qualité de langage – elle peut aussi indiquer différentes décisions stratégiques sur ce qu’il faut dire », expliquent les chercheurs dans leur article.

Les programmes inventent des langues depuis longtemps

Ce « nouveau » langage était entièrement fondé sur un vocabulaire tiré de l’anglais, et restait donc à peu près compréhensible par l’humain. « Si je dis “le” cinq fois, vous pouvez comprendre que je veux cinq exemplaires de cet objet », explique Dhruv Batra dans les colonnes de Fast Co. Design. Si le programme a progressivement modifié l’anglais, c’est parce qu’il « n’était pas récompensé pour respecter l’anglais », souligne le chercheur. Or ce type de programme fonctionne par récompense, ce qui lui donne un objectif à atteindre. Si cette version maîtrisait la technique de négociation, ce n’était pas le cas du langage. Le programme ne fonctionnant pas comme prévu, les chercheurs l’ont donc modifié. Ce qui n’a rien à voir avec le fait de le « tuer », comme l’ont écrit certains sites, ni avec la « panique » évoquée par d’autres.

« Pour le dire clairement, les agents qui tentent dans un environnement de résoudre une tâche vont souvent trouver des moyens contre-intuitifs de maximiser leur récompense, précise dans son message exaspéré Dhruv Batra. Analyser cette fonction de récompense et changer les paramètres d’une expérience n’est PAS la même chose que “débrancher” ou “mettre fin à une IA”. »

Qui plus est, rappelle le chercheur, « bien que l’idée que des agents d’IA inventent leur propre langage puisse sembler inquiétante/inattendue pour des personnes étrangères à ce champ, il s’agit d’une sous-discipline reconnue de l’IA, dont certaines publications remontent à plusieurs décennies ». En mars par exemple, l’organisation OpenAI, cofondée par Elon Musk – le même qui assurait le mois dernier que l’IA était « le plus grand risque auquel notre civilisation sera confrontée » – expliquait comment elle avait fabriqué des chatbots capables de créer leur propre langage pour communiquer entre eux.

En 2016, c’est le système de traduction automatique de Google qui a créé une représentation du langage qui lui est propre, lui permettant de traduire des paires de langues qu’on ne lui avait pas préalablement apprises. L’expérience Ergo-Robots, notamment exposée à la fondation Cartier de Paris en 2012, mettait aussi en scène des petits robots capables de se mettre d’accord sur un modèle linguistique – qui changeait à chaque fois que l’expérience était réinitialisée.

The Ergo-Robots