31× Plus Rapide : NCM Peut-Il Remplacer Les LLM Actuels ?
Des chercheurs de Stanford annoncent une architecture capable de générer du texte 31 fois plus vite. Elle s'appelle NCM, pour Next-Concept Modeling, et elle remet en cause un principe que presque tous les grands modèles de langage appliquent aujourd'hui : écrire la réponse token par token. Sur le papier, c'est énorme. Sauf que ce fameux « 31× » ne veut pas dire ce que beaucoup vont comprendre. Alors, vraie alternative aux LLM actuels, ou belle démo de labo ? On décortique tout ça.
Le problème : un token à la fois, et un GPU qui attend
Quand vous demandez à un modèle de vous expliquer comment fonctionne une fusée, il génère un premier token, puis un deuxième, puis un troisième, jusqu'à la fin de sa réponse. Chaque nouveau token dépend de tous les précédents : le modèle ne peut pas écrire le 50e tant qu'il n'a pas terminé le 49e. C'est ce qu'on appelle la génération autorégressive. Elle fonctionne très bien, et c'est encore celle qu'utilise la grande majorité des modèles conversationnels.
Le souci, c'est ce que ça coûte à chaque token. Le modèle doit refaire ses calculs à partir de ses poids, et sur une carte graphique ces poids doivent d'abord voyager depuis la mémoire jusqu'aux unités de calcul. Prenons un exemple simplifié : un modèle dense dont les poids occupent 16 Go. Pour une réponse de 1 000 tokens, il faut solliciter ces poids environ 1 000 fois, soit à peu près 16 To de données à déplacer.
Concrètement, même un GPU capable de calculer à une vitesse folle passe une bonne partie de son temps à attendre que les données arrivent. On parle de limitation par la bande passante mémoire. C'est d'ailleurs pour ça que deux cartes très différentes en puissance brute peuvent générer du texte à des vitesses assez proches. Si le sujet vous intéresse, j'en parlais déjà dans l'article sur le Mac Mini et les abonnements IA à 200 $.
La diffusion : remplir plusieurs cases d'un coup
Depuis quelque temps, plusieurs équipes cherchent donc à générer plusieurs tokens en même temps. Une des pistes, ce sont les modèles de langage par diffusion. Si vous avez déjà entendu parler de Stable Diffusion pour les images, le principe est proche : on part d'une image pleine de bruit et le modèle la corrige progressivement. Pour le texte, on part d'une page avec uniquement des espaces vides. Au premier passage, le modèle commence à la remplir. Au suivant, il améliore le résultat, et ainsi de suite jusqu'à obtenir un texte cohérent. On retrouve cette approche avec Mercury d'Inception ou avec le modèle de diffusion de Google.
L'avantage, c'est que le modèle travaille sur plusieurs tokens simultanément, donc il exploite mieux le calcul parallèle des GPU. Mais il reste un problème : pour obtenir un bon résultat, il faut repasser de nombreuses fois sur le texte, et à chaque passage il en traite une grande partie, parfois la totalité. Et si on réduit le nombre de passages pour aller plus vite, la qualité baisse. C'est précisément sur ce point que Stanford s'est penché.
NCM : dessiner d'abord les grandes formes
Pour comprendre l'idée, pensez à un artiste qui dessine un portrait. Il ne commence pas par le moindre détail : il trace d'abord les grandes formes, puis les contours, puis les ombres, et il termine par les détails. À chaque étape, le dessin devient plus précis. NCM applique ce principe au texte : le modèle construit d'abord une représentation très simplifiée de ce qu'il va écrire, puis il la complète niveau après niveau.
Techniquement, le système repose sur deux éléments :
- Un réseau de compression, qui apprend à représenter un texte sous forme de plusieurs niveaux de codes numériques, un peu comme une pyramide. Tout en haut, très peu de codes pour une vue compacte du texte ; plus on descend, plus il y a de codes et plus l'information est précise.
- Un Transformer, mais auquel on ne demande plus de prédire le prochain token. Il génère les codes de chaque niveau, et il peut prédire tous les codes d'un même niveau en parallèle, avant de passer au niveau suivant. Le dernier niveau contient assez d'informations pour reconstruire le texte final.
Attention au mot « concept ». Les chercheurs ne disent pas que le modèle comprend des idées comme un humain : ce sont simplement des représentations numériques apprises pendant l'entraînement. Mais l'organisation change tout : le nombre d'étapes de génération ne dépend plus directement du nombre de tokens à produire. Dans l'expérience de traduction, par exemple, le système utilise 11 niveaux.
L'étude montre d'ailleurs un exemple parlant avec une phrase allemande traduite en anglais. Après les premiers niveaux, le résultat est approximatif : on devine le sens, mais il manque des mots et la grammaire est mauvaise. Niveau après niveau, les mots deviennent plus précis, la grammaire se corrige, et au dernier niveau la traduction est complète. On voit littéralement le texte se construire par couches.
Ce que veut vraiment dire « 31 fois plus rapide »
Passons aux benchmarks. Sur XSum, un test de résumé d'articles, NCM génère des résumés jusqu'à 31 fois plus vite qu'un modèle de diffusion de référence, avec une qualité comparable. Sur d'autres expériences de génération de texte, l'accélération se situe entre 10 et 21 fois par rapport à ce même type de modèle.
Mais soyons honnêtes : ce chiffre ne signifie pas que NCM est 31 fois plus rapide que GPT, Claude ou Gemini. Trois précisions importantes :
- la comparaison est faite face à un autre modèle de diffusion, pas face à un LLM autorégressif classique ;
- le test tourne sur une seule carte Nvidia H100, avec 16 résumés générés simultanément ;
- les textes produits sont très courts : 48 tokens seulement.
On est donc encore loin d'une vraie conversation avec un modèle de plusieurs centaines de milliards de paramètres. Ça n'enlève rien au résultat, qui reste impressionnant, mais ça remet le « 31× » à sa place.
Le test du Sudoku : là, NCM brille
Les chercheurs ont aussi fait une expérience originale : résoudre des grilles de Sudoku. Ça paraît étrange pour un modèle de langage, mais il y a une vraie raison. Pour résoudre une grille, il faut tenir compte de toutes les cases en même temps : chaque chiffre doit respecter les contraintes de sa ligne, de sa colonne et de son carré. Un modèle autorégressif, lui, avance case par case et ne peut pas revenir modifier ce qu'il a déjà écrit.
Ils ont entraîné plusieurs petits modèles spécialisés d'environ 25 millions de paramètres. Sur les grilles difficiles, avec seulement 30 cases remplies sur 81 :
- le modèle autorégressif de référence ne résout que 1 % des grilles ;
- le meilleur modèle de diffusion atteint environ 81 % ;
- NCM monte à 86,1 %, avec seulement 12 évaluations de son générateur contre 128 pour la diffusion.
Ce qui est dingue, c'est que NCM résout davantage de grilles avec environ dix fois moins d'étapes. Et ça colle bien avec son fonctionnement : construire une représentation globale du problème avant de remplir les détails, c'est exactement ce qu'il faut pour un Sudoku.
Là où NCM déçoit encore
Tout n'est pas rose pour autant. Sur la traduction de l'allemand vers l'anglais, c'est le modèle autorégressif classique qui gagne : 25,2 au score BLEU contre environ 22,6 pour NCM. Les chercheurs ont réussi à rattraper l'écart en faisant produire plusieurs traductions au système puis en gardant celle qui représente le mieux l'ensemble, mais pour cela NCM doit effectuer beaucoup plus d'opérations. Autrement dit, l'architecture est efficace sur certaines tâches, mais elle peine quand la précision du texte devient critique.
Il y a trois autres limites à garder en tête :
- La taille des modèles. Les plus grandes versions testées atteignent 725 millions de paramètres, alors que les modèles que beaucoup d'entre nous utilisent aujourd'hui en comptent plusieurs milliards, voire plusieurs dizaines de milliards. On ne sait pas si les avantages tiendraient à cette échelle.
- La longueur des réponses. Les modèles NCM de l'étude produisent des sorties de taille fixe : 48 positions pour les résumés, 1 024 pour certaines expériences de génération libre. Dans un chatbot, où l'on peut demander une réponse de trois mots puis un document de plusieurs pages, c'est un vrai problème de flexibilité.
- Les erreurs du réseau de compression. Les chercheurs ont observé des problèmes sur certains noms propres et certaines valeurs numériques. Imaginez un modèle qui modifie une date, un prix ou une valeur dans un programme : ça ne passe pas.
C'est pour toutes ces raisons que NCM reste aujourd'hui une architecture expérimentale. Les résultats sur le Sudoku sont impressionnants, mais ils ne permettent pas de conclure que la méthode serait meilleure que les LLM actuels pour le raisonnement en général.
Ce que ça pourrait changer pour nos GPU
Si l'approche passait à l'échelle, elle pourrait changer la façon dont on fait tourner les LLM en local. Aujourd'hui, la vitesse de génération dépend beaucoup de la bande passante mémoire. Avec NCM, il y a moins de passages mais davantage de calcul en parallèle : la puissance de calcul des GPU pourrait alors compter plus que leur bande passante.
Mais ça reste théorique. Les modèles actuels utilisent déjà d'autres techniques d'accélération, comme le décodage spéculatif, qui consiste à générer plusieurs tokens à l'avance avant de les vérifier. C'est exactement ce que fait DSpark chez DeepSeek, qui accélère son modèle de 78 %. Reste à voir si NCM pourra un jour faire mieux à grande échelle. Et côté efficacité, la course est ouverte sur plusieurs fronts, comme on l'a vu avec DeepSeek et Xiaomi sur les contextes d'un million de tokens.
Mon avis
Est-ce que Stanford a trouvé le moyen de remplacer le token par token ? Pour l'instant, non : les modèles autorégressifs restent largement utilisés, et rien ne prouve que NCM tienne face à eux à grande échelle. Le « 31× » est réel, mais il compare NCM à un autre modèle de diffusion, sur de courts textes, avec un lot de 16 résumés. Il faut le lire pour ce qu'il est.
Ce qui m'intéresse vraiment, c'est ailleurs : NCM prouve qu'il existe d'autres façons de générer du texte, et que construire une réponse par couches, du global vers le détail, peut battre à la fois l'autorégressif et la diffusion sur des problèmes comme le Sudoku. Personnellement, je suis très curieux de voir ce que ça donnera quand l'équipe entraînera des modèles de plusieurs milliards de paramètres. Et vous, vous pensez que le token par token a encore de beaux jours devant lui ? Dites-le-moi en commentaire sous la vidéo.

🎬 Tu préfères la version vidéo ?
Cet article est tiré de ma vidéo YouTube — clique pour la voir.
Regarder sur YouTube →🛠️ Outils que tu peux tester en lien avec cet article
Une sélection de mes outils testés, pertinents pour aller plus loin.
🛠️ Tu cherches des outils IA testés ?
J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.
Voir mon annuaire d'outils →



