← Tous les articles
Architecture·8 min de lecture·Par Alan Sharif

Comment Gagner Des Millions Avec Une IA Qu'On N'a Même Pas Créée ?

Il existe aujourd'hui des entreprises qui génèrent des centaines de millions de dollars grâce à des intelligences artificielles qu'elles n'ont ni créées, ni entraînées — et qui n'ont même pas dépensé des milliards pour les développer. Dans la plupart des cas, les modèles qu'elles utilisent sont disponibles en open source. Pourtant, des entreprises comme Together AI, Fireworks AI ou DeepInfra ont construit un énorme business autour de ça. Forcément, une question se pose : si n'importe quelle entreprise peut récupérer le même modèle, pourquoi payer ces plateformes ? La réponse tient en un mot : l'inférence.

Parce que créer un modèle, c'est bien, on ne va pas se mentir. Mais réussir à le faire tourner rapidement pour des milliers, voire des millions d'utilisateurs, et tout ça sans brûler tout son argent en GPU, c'est un métier complètement différent. Et c'est là que certaines entreprises sont en train de bâtir une industrie gigantesque.

L'inférence, c'est quoi exactement ?

Quand une entreprise comme DeepSeek entraîne un modèle, elle crée en quelque sorte le cerveau. Mais une fois le cerveau créé, il faut encore le faire fonctionner. Quand vous envoyez un prompt à une IA, des serveurs doivent traiter votre texte, faire tourner le modèle, puis générer la réponse, token par token. C'est ça, l'inférence. Et avec les modèles gigantesques d'aujourd'hui, ça peut coûter extrêmement cher.

Faire tourner un modèle géant coûte une fortune

Prenons DeepSeek V4 Pro. Ses poids représentent environ 865 Go. Pour faire tourner un modèle aussi énorme, on utilise des GPU de datacenter comme les NVIDIA B200 — des accélérateurs conçus spécifiquement pour les énormes charges de calcul liées à l'IA, avec environ 180 Go de mémoire très rapide chacun (on a vu l'autre facette de cette course à la mémoire avec le FP4 de NVIDIA).

En théorie, environ 5 B200 suffiraient donc pour contenir uniquement les poids du modèle. Sauf qu'en pratique, le modèle n'est pas seul dans cette mémoire : il faut aussi de la place pour gérer les requêtes, les calculs intermédiaires, les buffers (des zones de mémoire temporaires) et notamment le KV cache, dont on reparle juste après. Une configuration pratique peut donc monter à 8 B200.

Avec un coût de location d'environ 6 $ par heure et par GPU, ça fait déjà 48 $ par heure — soit, à la louche, plus de 1 100 $ par jour si la machine tourne 24 h/24. Et ça, c'est uniquement pour les GPU : pas pour le CPU, pas pour le stockage, pas pour le réseau, pas pour les ingénieurs. Le business d'une plateforme d'inférence peut donc presque se résumer à une seule équation : produire des tokens pour moins cher que le prix auquel on les vend. Et quand vos machines coûtent aussi cher, le moindre pourcentage d'efficacité devient extrêmement important.

Astuce n°1 : remplir les GPU avec le batching

Le premier problème à régler, c'est l'utilisation des GPU. Un B200 coûte très cher, qu'il travaille à fond ou qu'il passe une partie de son temps à attendre. Si vous avez une énorme infrastructure mais seulement quelques requêtes en même temps, vous gaspillez une partie de votre capacité.

La solution, c'est souvent le batching : au lieu de faire travailler le GPU pour un seul utilisateur à la fois, vous regroupez énormément de requêtes, et le GPU avance sur plusieurs utilisateurs simultanément. Un peu comme un bus : le faire rouler avec deux passagers ou avec 50 coûte presque la même chose. Plus vous remplissez les sièges, plus le coût du trajet est réparti.

Les plateformes modernes vont encore plus loin avec le continuous batching : dès qu'une requête est terminée, elle quitte le groupe et une nouvelle prend immédiatement sa place. Le but, c'est de garder les machines occupées au maximum. Et ça crée quelque chose d'assez contre-intuitif : plus une plateforme a de clients, plus elle peut remplir efficacement ses GPU. Le volume ne génère donc pas seulement plus de revenus — il peut aussi faire baisser le coût moyen de chaque token.

Astuce n°2 : ne pas refaire le même travail (KV cache et prefix caching)

Remplir les GPU ne suffit pas : il faut aussi éviter de leur faire refaire inutilement le même travail. Prenez un agent de programmation. À chaque nouvelle étape, il peut renvoyer énormément d'informations déjà vues : son system prompt (les instructions de base de l'IA), la définition de ses outils, le contexte du projet et une partie de votre conversation. Si le modèle devait tout recalculer depuis zéro à chaque action, ce serait un énorme gaspillage.

C'est là qu'intervient le KV cache. Quand le modèle traite votre prompt, il génère des informations intermédiaires dont il aura besoin pour continuer sa réponse. Au lieu de les recalculer encore et encore, le serveur peut les conserver temporairement en mémoire — et c'est d'ailleurs pour ça que des équipes comme DeepSeek travaillent autant à réduire la taille de ce cache. Quand plusieurs requêtes partagent exactement le même début, certaines infrastructures peuvent même réutiliser une partie du travail déjà effectué : c'est le prefix caching. Au lieu de retraiter des dizaines de milliers de tokens, le système se concentre sur la nouvelle partie du prompt.

Pour vous, devant votre écran, ça ne change quasiment rien. Mais pour une entreprise qui traite des milliards de tokens, la différence économique peut devenir énorme. Et on commence à comprendre ce que vend réellement une plateforme comme Together AI ou Fireworks : elle ne possède peut-être pas le modèle, mais elle essaie de devenir meilleure que les autres pour le faire tourner.

Astuce n°3 : optimiser jusqu'au kernel

Deux entreprises peuvent prendre exactement le même modèle, le mettre sur exactement les mêmes GPU, et pourtant obtenir des performances différentes. Parce que le problème n'est pas uniquement la puissance brute de la machine : une énorme partie du travail consiste à déplacer des données. Pendant l'inférence, les informations circulent constamment entre la mémoire du GPU et ses unités de calcul. Si votre logiciel est mal optimisé, vous pouvez lire, déplacer et réécrire les mêmes données plusieurs fois inutilement.

C'est là qu'interviennent les custom kernels : de petits programmes extrêmement optimisés qui contrôlent la façon dont certaines opérations s'exécutent directement sur le GPU. Une technique classique, la kernel fusion, consiste à enchaîner plusieurs opérations sans les allers-retours en mémoire : au lieu de lire les données, faire un calcul, réécrire le résultat, puis le relire pour le calcul suivant, on fait tout d'un coup. FlashAttention, qui optimise le calcul de l'attention en organisant les calculs différemment pour réduire les échanges inutiles avec la mémoire, est probablement l'exemple le plus connu de cette philosophie.

Concrètement, vous pouvez avoir exactement la même NVIDIA B200 que votre concurrent, mais produire davantage de tokens avec. Et à l'échelle de milliards de tokens, une petite différence d'efficacité peut complètement changer votre marge.

Groq et Cerebras : fabriquer sa propre puce

Certaines entreprises ont décidé d'aller encore plus loin. Au lieu d'essayer uniquement de mieux exploiter les GPU NVIDIA, elles ont conçu du matériel spécialement pensé pour faire tourner des modèles d'IA. C'est le cas de Groq et de Cerebras, qui attaquent le même problème de deux manières très différentes.

Mais ces approches ont une contrepartie. Un GPU NVIDIA est extrêmement polyvalent et s'adapte à énormément de modèles et de types de calcul. Quand vous construisez du matériel beaucoup plus spécialisé, vous devez vous assurer qu'il reste adapté aux nouvelles architectures qui apparaissent. Et avec des modèles toujours plus gros, il faut parfois quand même répartir leur fonctionnement sur plusieurs puces ou plusieurs machines — et là, les problèmes de communication et de déplacement des données réapparaissent. C'est pour ça que, malgré toutes ces alternatives, les GPU restent aussi importants : un compromis très puissant entre performance et polyvalence.

Pourquoi DeepSeek ne le fait pas lui-même ?

Alors, si DeepSeek a créé son modèle, pourquoi laisser Together AI, Fireworks ou DeepInfra gagner de l'argent avec ? Pourquoi ne pas simplement le faire soi-même ? Parce que créer le modèle et le servir à grande échelle, ce sont deux métiers complètement différents. Un laboratoire doit faire de la recherche, préparer les données, entraîner les modèles, trouver suffisamment de calcul et développer la prochaine génération. Une plateforme d'inférence, elle, peut concentrer énormément de ses efforts sur une seule question : comment faire tourner ces modèles le plus efficacement possible ?

Et même entre ces plateformes, les stratégies sont différentes :

L'une sera moins chère, l'autre plus rapide, l'autre plus adaptée à une grosse entreprise. Et c'est précisément comme ça qu'un modèle accessible à tout le monde peut quand même créer un business énorme.

Mon avis

Soyons honnêtes : pendant longtemps, toute la course à l'IA a semblé tourner autour d'une seule question — qui possède le meilleur modèle ? GPT contre Claude, Gemini contre DeepSeek, Qwen contre Kimi. Mais si les modèles open weights continuent de devenir meilleurs et plus nombreux, posséder le modèle pourrait ne plus être le seul avantage décisif. Quand plusieurs modèles excellents sont disponibles, une entreprise peut simplement choisir celui qui correspond à ses besoins.

Et c'est là qu'une autre bataille commence : qui peut me le servir au meilleur prix ? Qui génère mes tokens le plus vite ? Qui peut absorber un énorme pic de trafic ? Qui garantit que mon application restera disponible ? Et surtout, qui peut faire tout ça en dépensant le moins possible en infrastructure ? Deux industries sont en train d'apparaître : ceux qui construisent les modèles, et ceux qui les transforment en infrastructure utilisable à grande échelle. La réponse à notre question de départ est donc simple : ces entreprises ne vendent pas vraiment le modèle. Elles vendent tout ce qu'il faut pour qu'il fonctionne vite, de manière fiable et à grande échelle. Et si vous vous demandiez pourquoi payer une plateforme alors que vous pourriez tout faire tourner sur un Mac Mini, vous avez maintenant une partie de la réponse.

📤 Partager :
Comment Gagner Des Millions Avec Une IA Qu'On N'a Même Pas Créée ?

🎬 Tu préfères la version vidéo ?

Cet article est tiré de ma vidéo YouTube — clique pour la voir.

Regarder sur YouTube →

🛠️ Outils que tu peux tester en lien avec cet article

Une sélection de mes outils testés, pertinents pour aller plus loin.

🛠️ Tu cherches des outils IA testés ?

J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.

Voir mon annuaire d'outils →
Alan Sharif

Alan Sharif — créateur de Nerdy Kings

Je teste les outils IA et je décrypte les nouveaux modèles pour ma communauté de 30 000+ curieux francophones sur YouTube. Sans bullshit, sans hype, sans jargon.