← Tous les articles
Architecture·6 min de lecture·Par Alan Sharif

DeepSeek V4.1 Flash : Un KV Cache 437 Fois Plus Petit Que La Première Génération

DeepSeek vient de sortir V4.1 Flash, et le modèle est assez surprenant : d'abord parce qu'il est extrêmement rapide, mais surtout parce que sur certains tests, il arrive à rivaliser avec des modèles haut de gamme. Sauf que le vrai sujet n'est pas là. Ce que DeepSeek a réussi à faire, c'est réduire énormément la quantité de mémoire nécessaire pour gérer de très longs contextes — leur KV cache est environ 4 fois plus petit que celui de V4 Flash, et jusqu'à 437 fois plus petit par token que celui de leur toute première génération, tout en gardant un contexte pouvant atteindre 1 million de tokens. Je vous explique comment ils ont fait, et pourquoi ça pourrait bien montrer où se dirige l'avenir des LLM.

Un modèle rapide, mais qui ne gagne pas partout

Commençons par calmer les esprits. Sur DeepSWE, V4.1 Flash atteint 74,2 points contre 74 pour Claude dans les résultats rapportés : c'est impressionnant pour un modèle de cette catégorie. Mais attention, il ne gagne pas partout. Sur Terminal-Bench, DeepSeek tombe à 31,2 contre 51,8 pour Claude. Donc non, DeepSeek n'a pas soudainement créé le meilleur modèle du monde. Par contre, ils ont fait quelque chose de beaucoup plus intéressant.

Le vrai problème des gros modèles : le KV cache

Quand vous discutez avec une IA, le modèle doit constamment garder en mémoire des informations sur ce qui s'est passé précédemment. C'est ça, le KV cache. Avec une conversation de quelques messages, aucun problème. Mais aujourd'hui, on crée des agents auxquels on donne des projets entiers : des centaines de fichiers, l'historique d'un terminal, des outils, des images. V4.1 Flash peut travailler avec des contextes allant jusqu'à 1 million de tokens, et plus ce contexte grandit, plus la mémoire nécessaire au KV cache devient un véritable problème. C'est exactement là que DeepSeek a fait un bond énorme : le KV cache de V4.1 Flash est environ 4 fois plus petit que celui de V4 Flash — et environ 437 fois plus petit par token que celui de la première génération de DeepSeek, en seulement quelques années.

CSA2 : seules 4 couches sur 40 écrivent la mémoire globale

La grosse innovation derrière ça s'appelle CSA2, pour Compressed Sparse Attention. Un Transformer est composé de nombreuses couches, et traditionnellement, chacune d'elles produit et conserve sa propre information dans le KV cache. DeepSeek s'est demandé : est-ce qu'on a vraiment besoin que toutes les couches stockent indépendamment toutes ces informations ? Avec CSA2, la réponse est non. Sur V4.1 Flash, seulement quatre couches — les couches 2, 8, 14 et 20 — écrivent un état KV global persistant, et toutes les autres réutilisent les informations déjà produites au lieu de conserver leur propre version.

DeepSeek combine ça avec une structure assez particulière : V4.1 Flash utilise 40 couches séparées en deux parties, 20 couches d'encodeur et 20 couches de décodeur. Quand vous donnez votre énorme prompt au modèle, l'encodeur commence par le traiter et produit, en quelque sorte, une mémoire globale de ce contexte. Quand le décodeur commence à générer la réponse, il peut lire directement cette mémoire au lieu de recréer de nouvelles clés et valeurs globales à chaque couche. Ajoutez quelques autres techniques de compression et de quantification, et le résultat est énorme.

Le résultat : 3 514 octets par token → 890

Sur V4 Flash, on était à environ 3 514 octets par token. Avec V4.1 Flash, seulement 890 octets : presque quatre fois moins. Et ça compte énormément, parce que la mémoire GPU est l'une des ressources les plus précieuses quand on fait tourner ces énormes modèles — c'est la même logique d'efficacité que Dual Path côté GPU, ou Engram côté mémoire : DeepSeek s'attaque depuis des mois aux goulots d'étranglement matériels plutôt qu'à la taille brute.

Attention : ce n'est pas un petit modèle

Il faut quand même préciser un truc : V4.1 Flash n'est absolument pas un petit modèle. Son backbone contient environ 552 milliards de paramètres. Heureusement, c'est un Mixture of Experts : ils ne sont pas tous utilisés en même temps, et seulement environ 8 milliards de paramètres sont actifs par token pendant le traitement du prompt, puis environ 16 milliards pendant la génération. Mais si vous voulez télécharger le checkpoint complet, on parle quand même d'environ 511 Go.

Autre point très important : V4.1 possède désormais une compréhension visuelle native. Vous pouvez lui envoyer du texte, mais aussi des images — par exemple une interface utilisateur, une capture d'écran ou même le menu d'un jeu vidéo — puis lui demander d'analyser ce qu'il voit et de générer le code permettant de reproduire le fonctionnement. Ça devient évidemment très intéressant pour des agents, qui deviennent beaucoup plus polyvalents qu'un simple chatbot.

Le défaut : il réfléchit beaucoup trop

Notre petit modèle a l'air presque parfait, mais il y a un problème : il réfléchit beaucoup trop. Le mode d'effort maximal peut consommer jusqu'à 2,5 fois plus de tokens de sortie. Et le plus drôle, c'est que ce n'est pas forcément utile : sur un test de rédaction, le mode standard obtient 87,13 sur 100, le mode maximal environ 86,75 — pratiquement pareil, voire légèrement moins. Sauf que la génération prend 73 % de temps en plus et coûte environ 60 % plus cher. Parfois, réfléchir davantage ne sert absolument à rien.

Mon avis

V4.1 Flash est un modèle assez intéressant, voire surprenant, parce qu'on voit bien que DeepSeek travaille sur un problème très précis : comment faire tourner des modèles gigantesques avec un contexte gigantesque, sans faire exploser la mémoire nécessaire. Et en quelques années, ils arrivent à un KV cache par token jusqu'à 437 fois plus petit que leur modèle de première génération. Soyons honnêtes : aujourd'hui, le modèle reste conséquent — 552 milliards de paramètres et 511 Go, ce n'est pas ce que vous allez faire tourner sur votre PC.

Mais c'est la trajectoire qui compte. Si la tendance continue, ces modèles vont devenir de moins en moins chers à faire tourner, et c'est là que se joue la vraie course : pas celle du meilleur score sur un benchmark, mais celle de qui saura faire travailler des agents sur des millions de tokens de contexte sans que la facture de mémoire GPU explose. Sur ce terrain-là, DeepSeek a clairement une longueur d'avance à surveiller de près.

📤 Partager :
DeepSeek V4.1 Flash : Un KV Cache 437 Fois Plus Petit Que La Première Génération

🎬 Tu préfères la version vidéo ?

Cet article est tiré de ma vidéo YouTube — clique pour la voir.

Regarder sur YouTube →

🛠️ Outils que tu peux tester en lien avec cet article

Une sélection de mes outils testés, pertinents pour aller plus loin.

🛠️ Tu cherches des outils IA testés ?

J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.

Voir mon annuaire d'outils →
Alan Sharif

Alan Sharif — créateur de Nerdy Kings

Je teste les outils IA et je décrypte les nouveaux modèles pour ma communauté de 30 000+ curieux francophones sur YouTube. Sans bullshit, sans hype, sans jargon.