Les modèles d’IA « pensent-ils » ? C’est une question importante, car pour quelqu’un qui utilise un outil tel que ChatGPT, Grok, Mistral ou Claude, il semble évident que le bot est en train de réfléchir.
Des messages indiquant « réflexion en cours » s’affichent même à l’écran, et il est désormais possible de lire le « raisonnement » d’un bot pour comprendre comment il est parvenu à une conclusion.
En réalité, si les modèles d’apprentissage automatique et autres modèles d’IA imitent certains aspects de la pensée, ils ne fonctionnent pas encore tout à fait comme un cerveau naturel. Cependant, de nouvelles recherches sur les machines à pensée continue pourraient changer la donne.
Qu’est-ce qu’une machine à pensée continue ?
Une machine à pensée continue (CTM : Continuous Thought Machine) est un nouveau type de réseau neuronal qui intègre littéralement le temps dans son processus de réflexion. Au lieu d’effectuer un calcul unique, chaque neurone CTM garde en mémoire ses activités passées et utilise cet historique pour décider de la marche à suivre. En mai 2025, Sakana AI a détaillé le modèle CTM dans un article de recherche et un billet de blog.
Sakana affirme qu’il s’agit d’un nouveau type de réseau neuronal artificiel qui imite plus fidèlement le fonctionnement du cerveau naturel. Les neurones d’une CTM ne se limitent pas à une seule activation, ils disposent d’une « mémoire » à court terme et peuvent synchroniser leurs schémas d’activation avec ceux d’autres neurones. L’état interne du réseau est défini par ces schémas de synchronisation au fil du temps.
Cela ressemble beaucoup à la synchronisation des cerveaux biologiques qui conduit aux ondes cérébrales. Cela rend les CTM très différents des réseaux profonds ou des transformateurs standard. Par exemple, un modèle typique basé sur un transformateur traite un morceau de texte (ou une image) en un nombre fixe de couches, toutes en même temps. En gros, il pense par rafales courtes et définies, puis se met en veille en attendant votre prochaine commande.
Pourquoi est-ce mieux que les réseaux neuronaux actuels ?
Le concept même de CTM élimine fondamentalement l’idée de « one-shotting », souvent considérée comme la norme d’excellence pour les modèles d’IA, qui consiste à obtenir la bonne réponse la plupart du temps dans un délai fixe pendant lequel le problème doit être traité par le réseau de transformateurs, le type de réseau neuronal qui alimente ChatGPT, par exemple.
C’est l’une des raisons pour lesquelles les modèles de langage actuels ne disposent pas vraiment d’un bon moyen de corriger le pourcentage relativement faible d’erreurs qu’ils commettent. Des améliorations ont été apportées grâce à la chaîne de pensée, à l’auto-prompting et au rebond entre deux modèles jusqu’à obtention d’un résultat satisfaisant, mais il semble que l’approche CTM pourrait combler une lacune importante en matière de précision et de fiabilité.
D’après les promesses énoncées par Sakana dans ses articles, cela pourrait signifier la combinaison des forces de modèles tels que les modèles de langage avec l’adaptabilité et la croissance des cerveaux biologiques. Cela pourrait aussi avoir des implications pour la robotique et pourrait aider les machines à apprendre, à se développer et à exister dans le monde physique de manière plus similaire à la nôtre.
Les inconvénients de la réflexion excessive
La réflexion continue est puissante, mais elle comporte des inconvénients. Tout d’abord, les CTM sont plus complexes et plus gourmands en ressources que les réseaux simples. Le fait de permettre à chaque neurone de conserver son historique augmente considérablement la masse interne du réseau. Dans la pratique, l’entraînement d’un CTM peut nécessiter beaucoup plus de puissance de calcul et de mémoire. Ils peuvent prendre plus de temps à former et nécessiter davantage de données ou d’itérations pour converger. L’inférence peut également être plus lente si le modèle choisit de nombreuses étapes de réflexion pour une entrée difficile.
De plus, tous les outils et bibliothèques actuels sont basés sur des modèles statiques, et non sur des CTM, pour des raisons évidentes. Donc, si cette technologie a vraiment un avenir, il faudra un certain temps pour que les outils rattrapent leur retard.
L’autre problème majeur est assez évident : quand faut-il arrêter de réfléchir ? Il existe un risque de « réflexion incontrôlée », où le CTM tourne en rond. Il faut donc mettre en place des règles assez sophistiquées pour l’aider à savoir quand il a terminé. Sinon, vous risquez d’obtenir une amplification des erreurs et le même type d’hallucinations que celles que nous connaissons déjà, le modèle s’éloignant de la vérité fondamentale à partir de laquelle il est parti.
Le dernier problème majeur, et il est de taille, est que ce modèle CTM précoce est encore loin d’égaler les meilleurs modèles actuels en termes de précision.
Nos esprits restent un mystère
Les CTM basés sur les articles de Sakana AI ressemble beaucoup à ce que nous observons dans le cerveau humain, la vérité est que nous ne savons toujours pas grand-chose sur le fonctionnement de notre propre esprit. Il se peut que les chercheurs en IA aient découvert une solution similaire à celle que la sélection naturelle a créée pour nous et les autres espèces animales, mais il se peut aussi que nous ayons créé quelque chose en parallèle qui pourrait éventuellement avoir des capacités similaires.
Conclusion
Les modèles actuels ne constituent qu’une partie du puzzle d’une IA plus généralisée, à l’image d’un modèle de langage qui ressemble davantage au centre du langage d’un cerveau qu’à l’ensemble de celui-ci. À première vue, les CTM me semblent être une autre pièce du puzzle.
