La déraisonnable efficacité des LLMs

John McCarthy est très connu pour avoir inventé le concept d'intelligence artificielle ; mais il a également inventé un autre concept - une découverte plutôt -, beaucoup moins connu, qu'il a baptisé "AI effect". Qu'est-ce que c'est que l'effet IA ? Une forme de blasement éternel : dès que l'IA atteint un horizon que l'on s'était fixé comme ambition auparavant, avec un enthousiasme souvent débordant, on commence à entendre "Ah ! C'est ça l'IA ? C'est tout ? Mon fils de trois sait faire mieux, mon chat aussi...". L'IA c'est toujours autre chose, ce qui n'existe pas encore. Et j'ai bien l'impression que ce phénomène de blasement est accentué par l'hiver. Chaque année, à peu près à cette période, depuis une dizaine d'année, les violons de l'automne nous annoncent, tour à tour, l'explosion de la bulle de l'IA, "deep learning hitting a wall"... et cette année, parce que cela fait maintenant quelques semaines (une éternité !) qu'il n'y a pas eu de modèle sensationnel sorti des ateliers d'Anthropic ou d'OpenAI, les LLMs ont atteint un plateau !

Et puis les LLMs qui ne "comprennent" pas, qui ne "raisonnent" pas, qui ne "créent pas"... car toutes ces activités sacrées sont réservées aux humains - ils n'hallucinent pas non plus car l'hallucination même est une activité humaine et sacrée. Ils se contentent de calculer des corrélations entre les mots pour prédire le suivant et, franchement, il n'y a pas de quoi rêver. Alors j'ai bien envie de prendre leur défense, ne fût-ce que parce qu'ils nous rendent chaque jour service quand même.

Mais, pour être tout à fait franc, je les trouve même fascinants. Ils me font penser à ces lettres que Holderlin écrivait à sa mère pour la rassurer qu'il ne faisait rien de bien grave ; ce n'est que de la poésie, la plus "anodine" des activité - il joue avec les mots, seulement. C'est un peu la même chose pour les LLMs ; ils ne font que calculer des corrélations entre les mots et prédire le mot suivant - la plus anodine des activités. Mais à force de jouer avec les mots, il peut arriver que ceux-ci s'agencent tellement bien qu'ils disent quelque chose qui était jusque-là caché. De la même manière, à force de calculer des corrélations entre les mots, et des corrélations entre leurs représentations et les représentations de leurs représentations... quelque chose de bien plus complexe et sophistiqué peut émerger.

C'est la même chose pour la prédiction du mot suivant. Arriver à prédire un mot en prenant en compte des contextes larges et complexes, avec toutes les subtilités et les nuances qui font que ce mot doit être là et pas ailleurs, ce n'est pas rien - c'est la définition même de la compréhension. Quel enseignant n'a pas prononcé les premiers mots de la réponse pour donner un peu plus de contexte à ses étudiants et les aider à trouver les mots suivants ?

Quant aux LLMs qui ne sauraient être créatifs car ils ne font que combiner des œuvres existantes - interpoler en somme. Encore une activité anodine. Mais l'interpolation, ce n'est pas toujours quelque chose de si simple, notamment quand on interpole dans un espace de très grande dimension ; nous sommes alors dans une terra incognita où nulle observation n'a encore mis pied. Ce qui ressemble un peu à de la créativité. Associer une multitude de contextes différents de manière complexe pour arriver, la plus part du temps, à quelque chose de cohérent, ce n'est pas rien. On devrait même s'étonner à chaque fois.

Je ne suis évidemment pas en train de dire que les LLMs fonctionnent comme les humains. Je dis simplement qu'on devrait mieux méditer certains mots comme "comprendre", "raisonner", "créer"... plutôt que d'interdire formellement leur transposition sur les LLMs. Je dis également que ces modèles ont suffisamment de mérite pour qu'on les prenne au sérieux.