Il y a un peu plus de vingt-cinq ans, alors que j’effectuais des recherches en bibliothèque dans le cadre de mes études de maîtrise en informatique, je suis tombé sur la traduction anglaise d’un curieux petit volume publié par un ingénieur soviétique en 1984. Le sujet: la programmation d’un ordinateur pour jouer aux échecs.

À l’époque, l’approche privilégiée par les chercheurs qui souhaitaient développer un algorithme capable de vaincre les plus grands maîtres était celle de la force brute. En gros, l’algorithme étudiait tous les coups légaux dans une position donnée, puis toutes les répliques possibles à chacun d’entre eux, puis toutes les répliques à ces répliques, et ainsi de suite jusqu’à ce qu’il ait étudié toutes les séquences de coups d’une “profondeur” donnée. Puis, il évaluait les positions que l’on pouvait atteindre par ces innombrables séquences de coups et choisissait le coup qui menait à la position la plus avantageuse. (Ou, plus précisément, celui qui minimiserait les opportunités de l’adversaire si celui-ci jouait de façon optimale. Une stratégie défensive, mais terriblement efficace.)

L’auteur du volume en question, lui, trouvait cette approche détestable. Les grands maîtres des échecs, affirmait-il, n’étudient pas tous les coups possibles, loin de là. Ils se concentrent sur une poignée de coups prometteurs (rarement plus de deux ou trois) et prédisent leurs conséquences cinq, dix ou vingt répliques plus tard. Si l’on voulait que l’ordinateur puisse rivaliser avec les grands maîtres, ne vaudrait-il pas mieux développer un algorithme capable de reproduire leurs raisonnements?

Le problème: personne ne pouvait dire comment les grands maîtres séparaient les coups prometteurs à évaluer des coups médiocres à ignorer. Surtout pas les grands maîtres eux-mêmes. Guidés par un mélange d’instinct et d’expérience, les grands maîtres ne “voyaient” que les meilleures options, c’est tout. Et notre ingénieur soviétique le savait mieux que quiconque, puisqu’il était nul autre que Mikhail Botvinnik, cinq fois champion du monde des échecs!

Botvinnik a consacré de longues années à tenter, sand trop de succès, de codifier ces connaissances informelles qui déterminaient le raisonnement des grands joueurs. A posteriori, on peut expliquer son insuccès par le raisonnement statistique suivant:

• Admettons qu’il existe, dans une position donnée, une vingtaine de coups légaux. (Le véritable nombre est d’environ 35 en milieu de partie et de huit à dix quand il ne reste que quelques pièces sur l’échiquier, mais 20 constitue une moyenne acceptable.)
  
• Admettons aussi qu’il existe un et un seul coup optimal à jouer dans une position donnée.
• Pour reproduire le processus de raisonnement d’un grand maître, il faudrait, rien qu’en observant une position, identifier les deux coups les plus prometteurs, en espérant que le coup optimal se retrouve parmi ceux-ci, et écarter tous les autres. Mais comment faire?
  
• Un algorithme naïf, qui choisirait les deux coups à étudier au hasard parmi la vingtaine de coups légaux, ne “trouverait” parmi ceux-ci le meilleur coup que dans 10% des cas. La stratégie de cet algorithme serait à peine plus sophistiquée que celle d’un enfant de cinq ans à qui on viendrait d’expliquer les règles des échecs.
• Supposons maintenant que nous développions un algorithme très efficace, qui trouverait le meilleur coup dans 95% des cas. Nettement mieux, n’est-ce pas?
• Pas si vite. Ce qui fait le succès d’un grand maître, c’est sa capacité à prévoir les conséquences des coups qu’il envisage. Pour qu’un algorithme puisse faire la même chose, il devra identifier, pour chaque coup envisagé, les meilleures répliques de l’adversaire, puis les meilleures répliques à ces répliques, etc.
• Admettons que l’on souhaite prévoir les conséquences d’un coup quatre répliques plus tard, ce qui est très peu pour un grand maître. Un algorithme qui envisage le coup optimal dans 95% des cas ne trouvera tous les coups optimaux dans une séquence de quatre coups que dans (0,95) * (0,95) * (0,95) * (0,95) des cas, soit 81,4%. Il commettra donc une erreur susceptible de laisser une opportunité à l’adversaire une fois sur cinq, ou entre six et dix fois au cours d’une partie. N’importe quel joueur de club le moindrement dégourdi n’en fera qu’une bouchée.
  
• Si l’on souhaite étudier les conséquences d’un coup huit répliques plus tard, la probabilité d’inclure le coup optimal à toutes les étapes de la séquence de huit coups tombe à 66%. L’algorithme commettra donc une bourde une fois sur trois.
  

Il n’est donc pas étonnant que l’approche de Botvinnik, en apparence plus intelligente que la force brute, n’ait mené à rien. Tandis que la force brute (qui ne rate jamais un bon coup, elle, puisqu’elle étudie toutes les positions imaginables) a fini par vaincre le champion du monde.

Et maintenant?

Transposons ce raisonnement statistique dans le domaine de l’intelligence artificielle générative (IAgen), c’est-à-dire dans celui des modèles de langage comme ChatGPT.

L’IAgen détient une connaissance statistique du langage humain. On l’entraîne avec de grandes quantités de textes, ce qui lui permet de savoir à quelle fréquence le mot X précède le mot Y ou le mot Z dans l’ensemble des productions écrites.

Lorsque l’on demande à l’IAgen d’écrire du texte, elle se fie sur cette connaissance statistique du langage pour générer des séquences de mots qui sont statistiquement plausibles. Par exemple, on obtiendra plus souvent la phrase “Il était une fois” que la séquence “Il orange épingle aurait” parce que le mot “il” précède le mot “était” plus souvent que le mot “orange” dans l’ensemble des textes de langue française, etc.

Le choix du prochain mot à ajouter à un texte en cours de production dépend non seulement de cette connaissance statistique, mais aussi du contexte dans lequel on se trouve. Mais attention: ce contexte, dans le cas d’une IAgen, est beaucoup plus limité que pour un être humain. Il s’agit, en gros, de l’ensemble des N mots qui précèdent et de ce que l’on retrouve dans la question de l’utilisateur. C’est ce qui fait en sorte que les modèles d’IAgen commettent des erreurs bêtes, comme recommander à l’utilisateur de marcher jusqu’à un lave-auto pour économiser de l’essence parce qu’ils ne savent pas qu’il ne sert à rien d’aller visiter un lave-auto à pied.

Maintenant, admettons que l’on puisse développer un modèle de langage si efficace qu’il choisit le mot juste à ajouter à un texte dans 99,9% des cas, quelles que soient les circonstances et quel que soit le contexte. Ce qui, vous vous en doutez bien, est extraordinairement optimiste, puisque les contextes à la disposition de l’ordinateur devraient contenir toute l’information nécessaire pour prendre une décision (y compris à quoi servent les lave-autos) dans tous les cas imaginables.

Eh! bien, il y a à peine une chance sur trois que ce modèle puisse produire un texte de 1 000 mots sans commettre une bourde. En effet, (0,999 * 0,999 * … * 0,999), où 0,999 est multiplié par lui-même mille fois, est égal à un peu moins de 37%.

Pire: un modèle de langage qui choisit le mot optimal dans 99% des cas commettra au moins une erreur au cours de la production d’un paragraphe de 69 mots sur deux.

Certaines de ces erreurs seront faciles à trouver, comme “il orange”. D’autres, non. George Clooney et Denzel Washington sont deux acteurs renommés; si vous demandez à un modèle de langage qui a gagné l’Oscar du meilleur acteur en 2010, saurez-vous si le modèle vous dit la vérité en vous répondant l’un ou l’autre? (Ni l’un ni l’autre: le gagnant était Jeff Bridges.)

Et bien entendu, moins il y a de données pertinentes pour un sujet dans le corpus d’entraînement du modèle, moins celui-ci sera précis et plus il sera tenté de fabuler pour répondre quand même à votre question. J’y reviendrai peut-être un de ces jours.

La leçon

Le cerveau humain recherche constamment des motifs. C’est une question de survie. La littérature populaire sur les neurosciences et l’évolution mentionne parfois l’exemple du serpent caché dans l’herbe: si notre cerveau croit voir un serpent alors qu’il n’y en a pas, nous en serons quittes pour une bonne frousse, mais s’il ne détecte pas un serpent qui est bien présent, nous pourrions en mourir.

Nous cherchons aussi des signes d’intelligence dans ce qui est produit par l’IAgen. Il ne s’agit pourtant que de séquences de mots statistiquement plausibles, ou de l’équivalent visuel dans le cas des modèles qui produisent des images. Rien de plus. Le résultat peut être convaincant, mais le modèle ne peut en aucun cas savoir si ce qu’il dit est vrai ou faux—ce qui constitue la définition-même de la boulechite, selon le philosophe américain Harry G. Frankfurt.

La seule façon de vous assurer que votre texte généré par l’IA n’est pas truffé de bêtises, c’est d’être en mesure de tout contre-vérifier, c’est-à-dire d’avoir fait le travail vous-même au préalable ou de le reproduire après coup. Auquel cas vous n’avez probablement rien gagné en termes d’efficacité.

Connaissez-vous beaucoup de gens qui se donnent cette peine?

Bonne chance…

J'enseignerai le cours HST 2007 -- Histoire numérique au Département d'histoire de l'Université de Montréal à la session d'hiver 2025. Ce sera la quatrième fois; comme à chaque occasion, le contenu sera bien différent des versions précédentes. Par exemple: on n'avait jamais entendu parler de ChatGPT à l'automne 2022!

Bienvenue et j'espère que le cours sera à la hauteur de vos attentes.

Je me suis joint à l'équipe éditoriale de la revue CIO Canada, une publication destinée aux gestionnaires des technologies de l'information, à titre de journaliste pigiste.

La revue est bilingue. Elle ne compte pour le moment qu'une poignée d'articles inédits en français, en plus de traductions de textes en provenance des éditions-soeurs d'un peu partout ailleurs dans le monde, mais vous ne perdez rien pour attendre!

Mon premier texte, qui porte sur l'écosystème québécois de l'intelligence artificielle, est disponible ici. J'en ai deux autres en préparation pour la fin de l'été et pour l'automne.

J'ai récemment publié ce billet d'analyse sur la décision de la Cour suprême des États-Unis qui renversait Roe v. Wade et invalidait le droit à l'avortement au niveau fédéral. Une décision qui est déjà très lourde de conséquences et qui ne manquera pas de causer encore beaucoup de dégâts.

À lire sur Pieuvre.