← Tous les articles
Architecture·7 min de lecture·Par Alan Sharif

DeepSeek et Xiaomi Viennent De Débloquer Les IA Locales

Depuis deux ans, les entreprises d'IA se livrent une course assez bizarre : 100 000 tokens, 200 000 tokens, 1 million, voire plusieurs millions. À chaque nouveau modèle, la fenêtre de contexte devient plus grande. L'idée, c'est qu'une IA qui garde plus d'informations en mémoire devrait pouvoir travailler plus longtemps sans perdre le fil. Sauf qu'on s'est retrouvé avec un autre problème : une IA peut avoir une mémoire énorme, mais si elle met un temps fou à parcourir tout ce qu'on lui donne, ça ne nous avance pas tellement. Et DeepSeek et Xiaomi viennent tous les deux de travailler dessus, à quelques jours d'intervalle.

Pourquoi les agents ont besoin d'un énorme contexte

Prenez Claude Code, Codex ou n'importe quel agent qui programme à votre place. Pendant qu'il travaille, il doit garder en tête votre projet, les fichiers qu'il vient de modifier, les erreurs rencontrées, les résultats des tests, les instructions données au début… Forcément, on s'est dit que plus on augmentait sa mémoire, mieux ça marcherait.

DeepSeek contre Xiaomi : deux chiffres qui ne se comparent pas

À quelques jours d'intervalle, les deux labos ont présenté de nouvelles architectures qui cherchent à régler ce problème :

On pourrait être tenté de les comparer directement. Sauf que les deux chiffres ne mesurent pas exactement la même chose : DeepSeek se compare à sa propre génération précédente, avec une architecture et une précision différentes, et Xiaomi se compare à son ancienne architecture sur un modèle de recherche de 80 milliards de paramètres. Le « 4 fois contre 4,5 fois » ne nous apprend donc pas grand-chose. D'ailleurs, quand on regarde ce que les deux équipes ont vraiment cherché à améliorer, la mémoire n'est qu'une partie du sujet.

Lire, c'est plus lent qu'écrire : le problème du prefill

Pour comprendre le reste, regardons comment un agent travaille. Vous lui demandez de corriger un bug : il inspecte votre projet, réfléchit, modifie quelques lignes, puis lance les tests. Là, il récupère parfois énormément d'informations (logs, messages d'erreur, plusieurs fichiers, réponse du terminal). Il lit tout ça, fait une nouvelle modification souvent assez petite, relance l'outil, récupère de nouvelles informations, et recommence. Au final, pendant une session comme celle-là, l'agent lit beaucoup plus de texte qu'il n'en écrit.

Et plus la fenêtre de contexte grossit, plus tout ce texte pèse. Parce que stocker une information et la traiter, ce sont deux choses différentes. Imaginez une bibliothèque avec un million de livres : vous avez réussi à tous les faire entrer, félicitations. Mais si quelqu'un doit parcourir une grosse partie de la bibliothèque chaque fois que vous lui posez une question, vous allez quand même attendre très longtemps.

Pour un LLM, le moment où le modèle traite le texte qu'on vient de lui envoyer s'appelle le prefill (on l'avait déjà croisé dans notre article sur le Mac Mini qui devait remplacer un abonnement IA). Avec quelques milliers de tokens, ça va. Avec des centaines de milliers, voire un million, c'est autre chose. Exemple : DeepSeek V4.1 Flash lancé en local sur un Mac équipé de 512 Go de mémoire unifiée lit environ 450 tokens par seconde. Dit comme ça, ça semble rapide, mais :

Le cache d'un million de tokens tient dans moins d'un gigaoctet, ça, c'est fait. Mais il faut maintenant réussir à traiter cette énorme quantité d'informations sans attendre une éternité. Et pour y arriver, on peut commencer par éviter de faire travailler inutilement certaines parties du modèle.

L'idée : un immeuble où seuls les premiers étages lisent

Pas besoin d'aller très loin dans la technique : imaginez un immeuble avec plein d'étages. Votre texte est en bas, il passe dans une première couche du modèle, puis une deuxième, puis une troisième. À chaque fois, la couche fait ses calculs et transmet le résultat à la suivante. Quand vous envoyez un contexte gigantesque, il y a énormément de calculs à faire rien que pour que le modèle lise ce que vous lui avez envoyé.

En 2024, des chercheurs de Microsoft Research et de l'université Tsinghua avaient proposé une architecture appelée YOCO, pour You Only Cache Once. Le principe : séparer davantage le travail à l'intérieur du modèle. Une première partie lit le contexte et construit une représentation de ce qu'elle vient de lire ; la deuxième partie utilise ensuite cette représentation. Comme une équipe qui doit analyser un énorme dossier : inutile de demander à tout le monde de refaire toute la lecture depuis le début. Une partie de l'équipe prépare et organise les informations dont les autres auront besoin. C'est ce principe qu'on retrouve aujourd'hui chez DeepSeek et Xiaomi.

DeepSeek V4.1 Flash : 20 couches lisent, 20 couches répondent

DeepSeek V4.1 Flash possède 40 couches principales réparties en deux groupes. Quand vous envoyez votre prompt, ce sont surtout les 20 premières couches qui s'occupent de le lire. Les 20 suivantes travaillent ensuite à partir de la représentation créée par la première moitié. Résultat : pour chaque token lu, le modèle active environ 8 milliards de paramètres ; quand il génère sa réponse, il passe à environ 16 milliards.

Pour un agent, ça colle plutôt bien à l'usage : il reçoit constamment de grosses quantités d'informations, alors que ses actions peuvent être assez courtes. Pendant la lecture, DeepSeek dépense moins de calcul ; au moment de générer, il peut utiliser davantage de ressources.

Autre astuce : ils ont réduit le nombre de couches qui doivent garder leur propre information en mémoire. Une partie du cache peut être réutilisée entre plusieurs couches. Sur les dizaines de couches qui utilisent un système d'attention, seules quelques-unes ont besoin de conserver le cache principal. C'est l'une des raisons pour lesquelles DeepSeek arrive à réduire autant la mémoire nécessaire pour les longs contextes.

Xiaomi HySparse 2 : 5 fois moins d'opérations

Douze jours après DeepSeek, Xiaomi a présenté quelque chose de très proche : HySparse 2, un modèle expérimental de 49 couches. Pendant la lecture d'un prompt, les tokens peuvent s'arrêter autour de la couche 25 : la partie supérieure du réseau n'a donc pas besoin de traiter directement tout le contexte pendant cette phase.

Et Xiaomi annonce un chiffre assez impressionnant : pour traiter un contexte d'un million de tokens, HySparse 2 utilise environ 5 fois moins d'opérations mathématiques que leur architecture de référence. Le « 4,5 fois moins de mémoire » avait beaucoup fait parler, mais pour les agents, ces 5 fois moins d'opérations comptent énormément : avec un million de tokens, chaque passage économisé représente énormément de calcul.

Que DeepSeek et Xiaomi arrivent presque au même moment avec cette idée de ne plus faire passer toute la lecture de la même manière dans l'ensemble du modèle, ça donne au moins une bonne indication de la direction prise par les architectures pensées pour les agents.

L'impact sur le prix

Forcément, ça a aussi un impact direct sur le prix des API, parce que les tokens d'entrée ne coûtent pas toujours la même chose. Si le modèle a déjà traité une information et qu'elle se trouve dans son cache, la relire peut coûter très peu cher. Mais un agent reçoit constamment de nouvelles informations : un nouveau log, le résultat d'une commande, une page qu'il vient d'ouvrir, une erreur qu'il n'avait jamais vue. Tout ça doit être traité, et cette lecture de nouveauté coûte beaucoup plus cher que la relecture de données déjà en cache.

Sur une petite conversation, ce n'est pas énorme. Mais un agent peut travailler pendant des heures et enchaîner énormément d'actions. Si on réduit le calcul nécessaire pour lire ces nouvelles données, l'agent devient plus rapide et coûte aussi moins cher à faire tourner — ce qui compte d'autant plus que les modèles sont de plus en plus utilisés de cette façon (c'est aussi le cœur du business de ces plateformes d'inférence qui gagnent des millions).

Le problème qui reste : retrouver l'information

Il reste quand même un énorme problème. Une fenêtre d'un million de tokens veut dire que le modèle peut accepter cette quantité de texte. Pas qu'il retrouvera parfaitement chaque information à l'intérieur. Et même si on accélère énormément la lecture, ce problème reste là : DeepSeek indique lui-même que la récupération d'informations sur des contextes extrêmement longs doit être mieux caractérisée, et Xiaomi obtient aussi des résultats assez loin de la perfection sur ces tests de rappel.

Quand vous voyez « un million de tokens » sur la fiche technique d'un modèle, gardez ça en tête : le modèle peut recevoir un million de tokens, mais si vous lui demandez ensuite de retrouver un détail très précis perdu quelque part au milieu, le résultat peut être beaucoup moins impressionnant. Et maintenant que les problèmes de mémoire et de vitesse commencent à être mieux maîtrisés, c'est probablement là qu'il reste le plus de travail (on a d'ailleurs vu avec le million de tokens de Gemini 4 Argon que le chiffre à lui seul ne dit pas tout).

Mon avis

Ça fait longtemps qu'on est obsédé par la taille de la fenêtre de contexte. Mais avec les agents, on voit bien que ce chiffre tout seul ne suffit pas. Il faut pouvoir traiter tout ce contexte assez vite pour que ce soit utilisable. Et une fois ce problème de vitesse résolu, il faut encore pouvoir retrouver les informations de manière précise. DeepSeek et Xiaomi s'attaquent au deuxième maillon — la vitesse — et c'est une vraie avancée. Le troisième, la fiabilité du rappel, reste ouvert : c'est probablement là que se jouera la prochaine course.

📤 Partager :
DeepSeek et Xiaomi Viennent De Débloquer Les IA Locales

🎬 Tu préfères la version vidéo ?

Cet article est tiré de ma vidéo YouTube — clique pour la voir.

Regarder sur YouTube →

🛠️ Outils que tu peux tester en lien avec cet article

Une sélection de mes outils testés, pertinents pour aller plus loin.

🛠️ Tu cherches des outils IA testés ?

J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.

Voir mon annuaire d'outils →
Alan Sharif

Alan Sharif — créateur de Nerdy Kings

Je teste les outils IA et je décrypte les nouveaux modèles pour ma communauté de 30 000+ curieux francophones sur YouTube. Sans bullshit, sans hype, sans jargon.