← Tous les articles
Architecture·7 min de lecture·Par Alan Sharif

DeepInfer : DeepSeek Dévoile Le Secret De Ses Optimisations GPU

DeepSeek vient de publier en open source une grande partie du moteur qui fait tourner ses modèles d'IA. Sur certaines comparaisons, ce moteur produit plus de quatre fois autant de tokens par seconde et par GPU que d'autres systèmes d'inférence. DeepSeek affirme qu'un seul de ses clusters peut traiter environ 155 000 milliards de tokens par jour. Et le plus intéressant, c'est la manière dont ils arrivent à exploiter leurs GPU aussi efficacement. Cette technologie s'appelle DeepInfer. On regarde comment ça marche.

🎯 Vous venez de la vidéo pour le quiz ? Il est juste ici, en bas de l'article ↓

DeepInfer, l'infrastructure derrière V4.1 Flash

Il y a quelques semaines, DeepSeek a publié une nouvelle version de son modèle V4.1 Flash, baptisée 1017. Mais ici, on s'intéresse à ce qui permet de le faire tourner : l'infrastructure. Parce qu'en étudiant ce moteur, on découvre plusieurs optimisations assez particulières, notamment dans la façon dont les calculs sont répartis entre les cartes graphiques.

Le problème de l'inférence : deux étapes très différentes

Lorsque vous envoyez une requête à une IA, le traitement se déroule principalement en deux étapes.

Comme ces deux étapes n'utilisent pas les mêmes ressources, DeepSeek a décidé de les séparer sur des groupes de GPU différents.

Le prefill : de petits groupes de 2 à 8 GPU

Pour le prefill, DeepSeek utilise généralement de petits groupes de deux à huit GPU. Cette étape exploite déjà très bien leur puissance de calcul. Et lorsqu'on ajoute davantage de cartes, les transferts de données et la synchronisation peuvent finir par ralentir le traitement. Les benchmarks publiés par DeepSeek illustrent assez bien ce problème :

On finit donc par augmenter énormément le temps de traitement pour gagner relativement peu en débit.

Le décodage : le mélange d'experts et le Wide Expert Parallelism

Les modèles de DeepSeek utilisent une architecture appelée Mixture of Experts, ou mélange d'experts. Pour faire simple, le modèle possède plusieurs réseaux spécialisés, et lorsqu'il traite un token, il n'en active qu'une partie. Ça permet de réduire les calculs, puisque tous les paramètres ne sont pas utilisés à chaque fois.

Sauf que ces experts sont répartis entre plusieurs GPU, et ils ne reçoivent pas forcément tous la même quantité de travail. Du coup, certains GPU peuvent se retrouver complètement occupés pendant que d'autres attendent.

Pour améliorer ça, DeepSeek utilise une technique appelée Wide Expert Parallelism. Au lieu d'utiliser de petits groupes, DeepInfer peut répartir le décodage sur 64, voire 128 GPU. En répartissant les experts sur autant de cartes, chaque GPU possède beaucoup moins de paramètres à récupérer depuis sa mémoire. Il passe donc moins de temps à attendre que les données soient disponibles.

Dans leurs benchmarks, une configuration utilisant 64 GPU atteint environ 26 000 tokens générés par seconde et par GPU. Attention : ce chiffre correspond au débit global, lorsque le système traite énormément de requêtes simultanément. À ce niveau de charge, chaque utilisateur reçoit environ 100 tokens par seconde. Et si DeepSeek cherche à accélérer davantage la réponse de chaque utilisateur, le débit global commence à diminuer. Il faut donc trouver un équilibre entre la vitesse des réponses et le nombre d'utilisateurs que l'infrastructure peut servir.

Le cache KV : ne pas recalculer ce qui l'a déjà été

Prenons un agent de programmation qui travaille pendant plusieurs heures sur un projet. À chaque fois qu'il utilise un outil, il peut renvoyer presque tout son historique de conversation au modèle, avec seulement quelques nouvelles informations. Si l'IA devait recalculer cet historique à chaque requête, ça représenterait énormément de calculs inutiles.

C'est pour éviter ça qu'on utilise le cache KV. Lorsqu'un modèle traite un contexte, il produit des résultats intermédiaires qui peuvent être conservés en mémoire. Et lorsqu'une nouvelle requête contient le même début de contexte, il peut réutiliser ces résultats sans tout recalculer.

Même lorsqu'un contexte a été traité plusieurs jours auparavant, le système peut donc encore retrouver les calculs correspondants. Ça évite une quantité considérable de calculs sur les GPU.

Les autres optimisations, dont le décodage spéculatif

DeepInfer utilise également des noyaux de calcul spécialisés et un système qui répartit dynamiquement les experts entre les GPU. Mais il y a aussi une méthode appelée décodage spéculatif. Le principe consiste à prédire plusieurs tokens à l'avance, puis à demander au modèle principal de vérifier ces prédictions. Lorsque les tokens proposés sont corrects, plusieurs peuvent être validés pendant une seule étape de calcul.

DeepSeek utilise aussi un mécanisme qui adapte le nombre de tokens à vérifier en fonction de leur probabilité d'être acceptés. Ça limite les calculs inutiles lorsque les prédictions ont peu de chances d'être correctes.

L'économie de DeepSeek : 38 $ par heure de GPU

En février 2025, DeepSeek avait présenté une estimation théorique d'environ 12,91 $ de revenus par heure de GPU. Aujourd'hui, avec son infrastructure V4.1 Flash, l'entreprise annonce environ 38 $ par heure de GPU, même aux tarifs heures creuses. On est presque à trois fois le montant annoncé en 2025.

Si on reprend les tarifs de DeepSeek, avec certaines hypothèses sur la répartition des tokens, et en supposant que la location des GPU coûte entre 3 et 6 $ de l'heure, la marge brute théorique pourrait atteindre 84 à 92 %, après les seuls coûts de location GPU.

Il faut prendre ces chiffres avec précaution. On parle de revenus théoriques, pas de bénéfices réels. Et ces estimations ne comprennent pas le stockage, le réseau, l'électricité, le refroidissement ou encore les dépenses de recherche et d'entraînement. Mais elles montrent pourquoi les entreprises cherchent autant à optimiser l'utilisation de leurs GPU.

Les limites de DeepInfer

La version open source de DeepInfer ne contient pas toute l'infrastructure utilisée par DeepSeek en production. Pour l'instant, le dépôt public permet surtout d'exécuter des inférences hors ligne. Plusieurs composants importants ne sont pas inclus :

Une entreprise qui souhaiterait utiliser DeepInfer pour proposer son propre service d'IA devrait donc encore développer ou intégrer ces éléments.

Il y a aussi la question du matériel. Pour une configuration de production particulièrement efficace, DeepSeek recommande environ 64 GPU pour le prefill et 64 autres pour le décodage, soit 128 GPU au total. Ce n'est clairement pas le genre d'installation qu'on va pouvoir reproduire facilement chez soi.

Mon avis

Je trouve ça assez intéressant de voir à quel point les performances d'une IA dépendent aussi du logiciel qui permet de la faire fonctionner. On parle souvent des nouveaux modèles et de leurs capacités, mais l'infrastructure qui se trouve derrière joue également un rôle énorme. Et maintenant que le moteur est disponible publiquement, d'autres chercheurs et entreprises vont pouvoir étudier son fonctionnement et essayer d'adapter certaines de ces optimisations à leurs propres infrastructures. Dites-moi en commentaire ce que vous pensez de DeepInfer.

Quiz : 9 questions pour vérifier que tout est clair

Nouveau : chaque vidéo a maintenant son quiz. 9 questions, 2 minutes. Ton score et le corrigé détaillé arrivent par mail.

📤 Partager :
DeepInfer : DeepSeek Dévoile Le Secret De Ses Optimisations GPU

🎬 Tu préfères la version vidéo ?

Cet article est tiré de ma vidéo YouTube — clique pour la voir.

Regarder sur YouTube →

🛠️ Outils que tu peux tester en lien avec cet article

Une sélection de mes outils testés, pertinents pour aller plus loin.

🛠️ Tu cherches des outils IA testés ?

J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.

Voir mon annuaire d'outils →
Alan Sharif

Alan Sharif — créateur de Nerdy Kings

Je teste les outils IA et je décrypte les nouveaux modèles pour ma communauté de 30 000+ curieux francophones sur YouTube. Sans bullshit, sans hype, sans jargon.