H-Net : L'IA Sans Tokenizer Qui Apprend Avec 10× Moins De Données
Et si on pouvait se passer du tokenizer, ce petit logiciel qui découpe votre texte avant que l'IA le lise ? C'est ce que tente H-Net, une architecture sur laquelle Cartesia a publié de nouveaux résultats le 28 octobre 2026. Dans certaines expériences, elle atteint les performances d'un modèle classique avec environ 10 fois moins de données et de calcul pour l'entraînement. Et ce qui est dingue, c'est qu'elle travaille directement sur le texte brut. Alors, fin des tokens ou belle promesse de labo ? On décortique.
Le tokenizer : l'étape dont personne ne parle
Quand vous envoyez un message à GPT, Claude ou DeepSeek, votre texte ne rentre pas tel quel dans le modèle. Il passe d'abord par un tokenizer, un logiciel qui le découpe en petits morceaux : les fameux tokens. Un token peut être un mot entier, un bout de mot, un chiffre ou un signe de ponctuation. Un mot comme « ordinateur » peut donc tenir en un seul token ou être coupé en plusieurs morceaux, selon le tokenizer utilisé.
Ensuite, chaque morceau reçoit un identifiant numérique, que le modèle transforme en représentation mathématique pour pouvoir le traiter. Ce système existe depuis des années parce qu'il compresse le texte et réduit énormément la quantité de calcul nécessaire. Jusque-là, tout va bien.
Pourquoi les tokens posent problème
Le premier défaut, c'est que le découpage est défini à l'avance. Le tokenizer a son propre vocabulaire et ses propres règles, et certains textes sont beaucoup mieux découpés que d'autres. C'est surtout visible avec les langues : l'anglais est très présent dans les données qui servent à construire les tokenizers, donc il est plutôt bien compressé. Pour les langues moins représentées, il faut beaucoup plus de fragments pour dire la même chose. Une étude publiée en 2023 avait montré que certains textes traduits pouvaient nécessiter jusqu'à 15 fois plus de tokens selon la langue et le tokenizer.
Et ça a des conséquences très concrètes :
- Sur le prix : les API facturent généralement au nombre de tokens, donc plus de tokens pour le même texte, c'est une facture plus élevée.
- Sur la fenêtre de contexte : plus votre texte consomme de tokens, moins vous pouvez faire rentrer d'informations dedans.
L'exemple le plus parlant, c'est Claude Opus 4.7. Quand Anthropic l'a sorti en avril 2026, l'entreprise a gardé les mêmes tarifs par million de tokens qu'Opus 4. Sauf qu'elle avait changé le tokenizer : selon le contenu, un texte identique pouvait représenter jusqu'à 35 % de tokens en plus. Résultat, une requête peut coûter plus cher alors que le tarif affiché n'a pas bougé. Soyons honnêtes : quand vous voyez « 5 dollars le million de tokens », vous ne savez pas vraiment combien de texte ça représente, puisque chaque fournisseur découpe à sa façon. J'en parlais déjà dans mon article sur le vrai coût de GPT-6 et de Claude Opus.
Première piste : travailler directement en octets
Depuis un moment, plusieurs labos, dont Meta, cherchent donc à faire lire le texte brut par les modèles, sans passer par un vocabulaire de tokens. L'idée : travailler avec des octets, l'unité de base que les ordinateurs utilisent pour représenter les données (il y en a 256 valeurs possibles).
En septembre 2026, Meta et l'université de Washington ont publié une étude là-dessus. Ils ont entraîné plusieurs petits modèles d'environ 1 milliard de paramètres, certains avec la tokenisation classique, d'autres directement sur les octets. Leurs projections annoncent un avantage pouvant aller jusqu'à 4 points de performance sur plusieurs benchmarks. Mais attention : ces 4 points viennent de leurs calculs de projection. Sur les modèles réellement entraînés, l'écart est minuscule : 44,4 % contre 44,6 %, soit 0,2 point de différence.
Et il y a un vrai problème : si le modèle traite chaque octet un par un, il doit faire beaucoup plus d'étapes pour lire ou générer un texte. Ça ralentit la génération et ça demande plus de mémoire. Il faut donc trouver une astuce pour travailler en octets sans multiplier les calculs.
BLT : regrouper les octets en « patchs »
Meta avait déjà une réponse en décembre 2024 avec le Byte Latent Transformer (BLT). Au lieu d'envoyer chaque octet séparément dans le gros réseau de neurones, le système en regroupe plusieurs. Ces groupes s'appellent des patchs, et leur taille change selon le texte : quand une suite de caractères est prévisible, le patch est grand ; quand c'est plus difficile à deviner, il est plus petit. Le gros réseau traite donc moins de fragments sur les passages faciles et garde de la précision sur les passages compliqués.
Les chercheurs ont entraîné des BLT jusqu'à 8 milliards de paramètres et, sur certaines configurations, ils ont réduit d'environ 50 % le nombre d'opérations pendant l'inférence (le moment où vous utilisez le modèle pour générer une réponse), avec des performances comparables aux modèles classiques. Attention, 50 % d'opérations en moins ne veut pas dire une réponse deux fois plus rapide : le matériel et la mémoire comptent aussi. En mai 2026, la version Fast BLT a exploré des techniques pour accélérer la génération, notamment en produisant plusieurs octets en parallèle.
H-Net : le modèle apprend lui-même à découper
C'est là qu'arrive H-Net. Introduite en 2025 par des chercheurs qui travaillaient sur les modèles hiérarchiques, cette architecture a fait l'objet d'une nouvelle série d'expériences publiée par Cartesia le 28 octobre 2026. La grosse différence : le modèle apprend lui-même comment regrouper l'information.
- Il reçoit les octets bruts.
- De petits réseaux de neurones les organisent en fragments plus importants.
- Ces fragments sont envoyés vers les parties les plus puissantes du modèle.
- Le système peut répéter ce regroupement sur plusieurs niveaux, ce qui permet au réseau principal de travailler sur une version plus compacte du texte.
Et il y a une autre particularité : le découpage évolue selon le contexte. Prenons du code informatique avec une variable au nom très inhabituel. Avec un tokenizer classique, ce nom est coupé en plusieurs tokens, et si la variable revient 50 fois, il continue de la couper de la même façon. Avec H-Net, le modèle peut au début la découper en plusieurs morceaux, puis, à mesure qu'il la rencontre, apprendre à la représenter de façon beaucoup plus compacte, jusqu'à la regrouper en un seul fragment. C'est ce qu'on appelle la tokenisation contextuelle. Pour le code, où les noms de variables, de fonctions et les structures sont propres à chaque projet, ça pourrait être particulièrement utile.
Les résultats de Cartesia
Sur le papier, c'est presque révolutionnaire. Regardons donc les chiffres. Cartesia a utilisé un modèle H-Net d'environ 3,7 milliards de paramètres et l'a comparé à SmolLM3, un modèle open source d'environ 3 milliards de paramètres développé par Hugging Face, entraîné sur plus de 11 000 milliards de tokens.
- Données : H-Net atteint un score moyen comparable sur plusieurs benchmarks après l'équivalent d'environ 1 000 milliards de tokens d'entraînement, soit environ 10 fois moins de données.
- Calcul : comme les deux architectures utilisent une quantité de calcul assez proche par octet dans cette comparaison, le calcul total nécessaire est lui aussi réduit d'environ 10 fois.
- Code : dans certaines expériences contrôlées, H-Net est environ 2 fois plus efficace en calcul sur des tâches de programmation, avec des gains encore plus importants pour les langages peu représentés dans l'entraînement.
Ce qu'il faut garder en tête
À prendre avec des pincettes, quand même. Ces résultats viennent des expériences de Cartesia, et les modèles comparés n'ont pas exactement le même nombre de paramètres ni la même architecture. Il faut voir si d'autres équipes arrivent à reproduire ça, surtout sur des modèles beaucoup plus gros.
Et surtout, ces résultats concernent l'entraînement. On ne sait pas encore si un modèle H-Net sera plus rapide à utiliser ou moins cher sur une API. Il reste à tester sa vitesse de génération, sa consommation de mémoire et son comportement sur différents types de matériel. Aujourd'hui, la plupart des grands modèles utilisent toujours des tokenizers classiques. Mais les labos ont désormais d'autres options, par exemple entraîner des modèles spécialisés avec beaucoup moins de données. Cartesia explore d'ailleurs l'approche sur d'autres types de données, comme l'ADN ou l'image. Même logique de recherche que NCM de Stanford ou l'entraînement en 4 bits de NVIDIA : on remet en question des briques qu'on croyait figées.
Mon avis
Est-ce que c'est la fin des tokens ? Non, pas demain. Les tokenizers sont toujours là dans la quasi-totalité des modèles que vous utilisez, et H-Net est encore au stade de la recherche. Mais soyons honnêtes : les chiffres sont très, très encourageants. Atteindre le niveau d'un modèle de même taille avec 10 fois moins de données, ça n'est pas un détail.
Ce que je retiens surtout, c'est que le tokenizer n'est peut-être pas aussi intouchable qu'on le pensait. Quand un simple changement de tokenizer peut faire grimper la facture de 35 % sans que le prix affiché bouge, on comprend pourquoi tout le monde a envie de s'en passer. La vraie question maintenant : est-ce que ça tient sur des modèles de très grande taille ? Et vous, vous pensez que les tokens ont encore de beaux jours devant eux ? Dites-le-moi en commentaire sous la vidéo.

🎬 Tu préfères la version vidéo ?
Cet article est tiré de ma vidéo YouTube — clique pour la voir.
Regarder sur YouTube →🛠️ Outils que tu peux tester en lien avec cet article
Une sélection de mes outils testés, pertinents pour aller plus loin.
🛠️ Tu cherches des outils IA testés ?
J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.
Voir mon annuaire d'outils →




