DeepSeek Engram : Le Cheat Code De La Mémoire IA (V4)
Depuis 2017 et l'invention du Transformer, l'IA n'a suivi qu'une seule règle : "scaling is all you need". Toujours plus de données, plus de paramètres, plus de GPU. Mais en 2026, cette stratégie de force brute arrive à une limite physique — le memory wall. On arrive à un point où rajouter de la puissance ne rend pas l'IA fondamentalement plus intelligente : ça augmente juste les coûts.
Avec Engram, DeepSeek ne s'est pas contenté d'ajuster des neurones ou d'optimiser le code. Ils ont ajouté une nouvelle dimension à l'architecture même de l'IA : ils ont séparé le moteur de raisonnement du réservoir de connaissances.
Le problème : tout le monde paie pour rien
Quand vous demandez à une IA la capitale de la France, elle ne va pas chercher l'info dans un tiroir. Elle utilise des milliards de neurones pour reconstruire ce fait couche après couche, mobilisant des processeurs à 30 000$ l'unité pour une tâche que votre cerveau délègue à une zone de stockage basse consommation. C'est comme utiliser un moteur de Formule 1 pour sortir les poubelles.
L'idée d'Engram : la mémoire conditionnelle
Imaginez une bibliothèque universitaire. Avec le Mixture of Experts (MoE), on avait des chercheurs brillants en logique, mais qui devaient aussi apprendre par cœur chaque dictionnaire et chaque date historique. Résultat : le cerveau était encombré et avait moins de place pour le raisonnement pur.
Engram, c'est comme installer d'immenses rayonnages directement connectés au chercheur. Le MoE s'occupe du calcul ("comment résoudre ce problème"), Engram s'occupe du stockage. Le chercheur n'a plus besoin de mémoriser — il tend juste le bras au bon moment.
La loi de scaling en U
DeepSeek a testé tous les ratios entre calcul et mémoire et a découvert ce qu'ils appellent la loi de scaling en U :
- 0% Engram : modèle dense en connaissances mais pauvre en efficacité. Il gaspille son intelligence à mémoriser.
- 100% Engram : encyclopédie géante totalement stupide. Connaît tout, incapable de rédiger une phrase cohérente.
- Sweet spot entre 20 et 25% : la perte est minimale, l'intelligence maximale.
En allouant ~1/4 de la capacité du modèle à cette mémoire spécialisée, on libère le reste pour le raisonnement de haut niveau. À nombre de paramètres égaux, un modèle Engram-augmenté est plus performant qu'un modèle classique. C'est la preuve mathématique qu'on peut séparer l'intelligence de la connaissance.
Le hashing : l'accès en O(1)
Pour récupérer les infos instantanément, Engram utilise le hashing. Pour chaque séquence de mots, le modèle calcule une empreinte unique qui sert d'adresse directe dans une immense lookup table. Peu importe que la mémoire contienne 1000 faits ou 1000 milliards de faits, le temps d'accès est fixe et instantané. On ne cherche pas l'info, on saute directement dessus.
Pour éviter les collisions (deux phrases différentes qui tombent sur la même adresse), DeepSeek utilise le multi-head hashing. Imaginez 8 détectives qui fouillent 8 bibliothèques différentes pour la même question. Si l'un ramène une info absurde, les 7 autres ramèneront la bonne. Le système fait un vote majoritaire.
La mémoire conditionnelle, pas une base de données
Imaginez que vous parlez de "Jaguar". L'animal, la voiture ou l'avion ? Une base de données classique vous jetterait tout d'un coup. Engram utilise un gating contextuel : pendant que la mémoire extrait le fait, le Transformer regarde le contexte global et calcule un score entre 0 et 1. Si le contexte parle de jungle, il ouvre le robinet pour l'animal et ferme celui des voitures. Une vraie compréhension contextuelle.
L'arme géopolitique
C'est là que ça devient politique. La mémoire HBM des cartes Nvidia H100/B200 est ultra rapide mais horriblement chère. Si vous voulez un modèle avec une mémoire encyclopédique, vous achetez des dizaines de GPU juste pour stocker les paramètres — même si vous n'utilisez pas toute la puissance de calcul. C'est la "taxe Nvidia".
Engram contourne ça. Comme le hash dépend uniquement des mots tapés, le système sait dès la première milliseconde de quelle donnée il aura besoin. Cette anticipation permet le runtime prefetching :
- L'immense table de mémoire (100 milliards à milliers de milliards de paramètres) n'est plus sur le GPU. Elle est sur la RAM DDR5 du serveur — 100 fois moins cher, disponible en téraoctets.
- Dès que vous envoyez un prompt, le CPU calcule les hashes et commence à envoyer les données pertinentes vers le GPU via PCI Express.
- Pendant que le GPU calcule les premières couches, les données arrivent progressivement. Quand le GPU en a besoin, tout est déjà là.
Test sur une table de 100 milliards de paramètres déportée sur la RAM : seulement 2,8% de perte de performance. C'est une claque monumentale. On peut créer des modèles avec une connaissance supérieure aux géants actuels, qui tiennent sur une infrastructure beaucoup plus légère.
Les résultats sur le terrain
- +3,4 points sur MMLU (culture générale)
- +2,4 points sur Math (raisonnement)
- +5 points sur Big Bench Hard (logique)
- De 84% à 97% sur le test de l'aiguille dans la botte de foin (contextes longs)
La grande surprise : ce module de mémoire rend l'IA bien plus forte aussi en raisonnement pur, pas seulement en récupération de faits. En débarrassant les couches de calcul des tâches de stockage, elles peuvent enfin se consacrer à ce qu'elles font de mieux.
Mon avis
Engram n'est pas une optimisation, c'est une nouvelle philosophie. On passe de modèles éponges qui essaient d'aspirer le plus d'infos possible à des modèles bibliothécaires qui organisent intelligemment le savoir. Pour DeepSeek V4 et la suite, on peut imaginer un modèle avec la culture générale de Wikipédia mais la puissance de raisonnement d'un expert — le tout sur des infrastructures bien plus légères. C'est potentiellement la fin de la domination Nvidia sur le hardware IA.
🎬 Tu préfères la version vidéo ?
Cet article est tiré de ma vidéo YouTube — clique pour la voir.
Regarder sur YouTube →🛠️ Outils que tu peux tester en lien avec cet article
Une sélection de mes outils testés, pertinents pour aller plus loin.
🛠️ Tu cherches des outils IA testés ?
J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.
Voir mon annuaire d'outils →
Alan Sharif — créateur de Nerdy Kings
Je teste les outils IA et je décrypte les nouveaux modèles pour ma communauté de 20 000+ curieux francophones sur YouTube. Sans bullshit, sans hype, sans jargon.
