← Tous les articles
Architecture·6 min de lecture·Par Alan Sharif

DiffusionBlocks : Sakana AI Divise La Mémoire D'Entraînement Par 4

Entraîner une intelligence artificielle puissante demande aujourd'hui des dizaines, voire des centaines de GPU reliés entre eux, et surtout énormément de mémoire. Une équipe de chercheurs du laboratoire japonais Sakana AI vient de publier une méthode baptisée DiffusionBlocks, capable de réduire cette mémoire nécessaire par 3, 4, voire davantage — sans sacrifier les performances. L'idée de base est presque déroutante de simplicité : découper le modèle en plusieurs blocs et entraîner chaque bloc indépendamment. Je vous explique comment ça marche, ce que ça donne en pratique, et pourquoi cette piste pourrait changer la manière dont on entraîne les IA de demain.

Pourquoi l'entraînement d'une IA consomme autant de mémoire

Quand vous utilisez un modèle comme ChatGPT, il effectue surtout une passe vers l'avant : votre texte traverse les couches du réseau et le modèle produit une réponse. L'entraînement, lui, est beaucoup plus lourd. Le modèle fait d'abord cette passe vers l'avant, compare le résultat à la réponse attendue, puis repart en sens inverse pour déterminer quelle partie du réseau corriger — c'est la rétropropagation. Pour pouvoir revenir en arrière, le système doit garder en mémoire les résultats intermédiaires de chaque couche (les activations), les poids du modèle, les gradients utilisés pour les corriger, et les états de l'optimiseur.

Concrètement, pour un modèle de 10 milliards de paramètres, les poids seuls représentent déjà environ 40 Go en FP32. En ajoutant gradients, états de l'optimiseur et activations, la mémoire nécessaire dépasse largement les 100 Go. Et quand plusieurs GPU se répartissent la charge, ils doivent en plus s'échanger constamment leurs informations, ce qui ajoute encore un goulot d'étranglement de communication.

Un modèle de 10 milliards de paramètres pèse 40 Go de poids en FP32, mais dépasse 100 Go en mémoire avec gradients, optimiseur et activations, réparti sur plusieurs GPU qui s'échangent en permanence leurs données
Poids, gradients, optimiseur, activations : la note grimpe vite au-delà de 100 Go, sans compter les échanges constants entre GPU.

DiffusionBlocks : entraîner le modèle bloc par bloc

C'est ce constat qui a poussé Sakana AI à se poser une question assez radicale : est-on vraiment obligé d'entraîner toutes les couches du modèle en même temps ? Avec DiffusionBlocks, les chercheurs découpent le réseau en plusieurs grands blocs — par exemple, un transformer de 12 couches peut être divisé en trois blocs de quatre couches. Au lieu de charger l'ensemble des 12 couches et de calculer les gradients de tout le modèle d'un coup, le système entraîne un seul bloc à la fois, puis passe au suivant une fois celui-ci terminé.

Comme la mémoire utilisée dépend désormais surtout de la taille d'un seul bloc et non du modèle entier, diviser le réseau en trois blocs permet en théorie de réduire la mémoire d'environ trois fois, et avec quatre blocs, la réduction peut atteindre environ quatre fois. Mais pour que ça fonctionne, encore faut-il que chaque bloc sache précisément ce qu'il doit apprendre — et c'est là qu'intervient le principe de diffusion qui donne son nom à la méthode.

Au lieu d'entraîner tout le modèle d'un bloc, DiffusionBlocks n'entraîne qu'un seul bloc à la fois, ce qui divise la mémoire par 3 ou 4 tout en gardant une performance proche de l'entraînement classique
Un bloc entraîné à la fois au lieu de tout le modèle : mémoire divisée par 3 ou 4, performance quasi identique.

Le lien avec la génération d'images par diffusion

Dans un modèle de génération d'images, on part généralement de bruit pur, que le modèle débruite progressivement : il retrouve d'abord les grandes formes, construit ensuite la structure, puis ajoute les détails fins. Les chercheurs de Sakana AI ont remarqué que le passage à travers les couches d'un transformer pouvait être vu de la même façon : chaque groupe de couches reçoit une information imparfaite, effectue une petite correction, puis transmet un état un peu plus propre au groupe suivant.

Avec DiffusionBlocks, chaque bloc devient donc spécialiste d'une étape précise de ce débruitage : le premier apprend à travailler avec une information très bruitée, le deuxième traite une version déjà plus structurée, le dernier se concentre sur les détails et produit le résultat final. Et surtout, chaque bloc peut apprendre sa tâche sans attendre les résultats des autres — un peu comme une chaîne de production où chaque équipe a une mission bien définie, sans avoir besoin de garder toute la chaîne en mémoire en permanence.

Comme un modèle de diffusion qui retire progressivement le bruit d'une image en passant par les formes, la structure puis les détails, chaque bloc de DiffusionBlocks effectue une correction progressive avant de transmettre un état plus propre au bloc suivant
Bruit, formes, structure, détails : chaque bloc reproduit une étape du débruitage, comme un modèle de diffusion classique.

Des résultats étonnamment proches — parfois meilleurs — que l'entraînement classique

Sur le papier, l'idée peut sembler trop simple pour fonctionner. Pourtant, les premiers résultats sont solides. Sur un test de classification d'images avec trois blocs, l'entraînement classique obtenait environ 60,5 % de précision, contre 59,3 % pour DiffusionBlocks — avec une empreinte mémoire théorique environ trois fois plus faible.

Sur la génération d'images, le résultat est encore plus surprenant : sur ImageNet, le modèle entraîné normalement obtenait un score FID de 12,09 (plus ce score est bas, meilleure est la qualité et la diversité des images générées), contre 10,63 pour DiffusionBlocks. La méthode qui utilise moins de mémoire a donc légèrement dépassé l'entraînement classique. Les chercheurs ont aussi testé un petit modèle de langage inspiré de Llama 2, séparé en quatre blocs, avec des performances qui restent proches d'un entraînement classique. La méthode ne se limite donc pas à la génération d'images.

Sur ImageNet, DiffusionBlocks obtient un score FID de 10,63 contre 12,09 pour l'entraînement classique — un score plus bas signifie de meilleures images, tout en utilisant beaucoup moins de mémoire
Sur ImageNet, DiffusionBlocks fait mieux que l'entraînement classique (FID 10,63 contre 12,09) avec bien moins de mémoire.

La limite : trop de blocs, et ça se dégrade

On pourrait se dire qu'il suffit alors de découper un modèle en 20 ou 30 blocs pour économiser un maximum de mémoire. Mais les expériences montrent une limite claire : plus on augmente le nombre de blocs, plus chaque bloc contient peu de couches, et plus il perd sa capacité à comprendre la transformation qu'il doit effectuer. Sur la génération d'images, deux ou trois blocs donnent généralement les meilleurs résultats, et dès six blocs, la qualité se dégrade nettement. Il y a donc un vrai compromis entre mémoire économisée et capacité de chaque bloc à bien apprendre sa tâche.

Ce que ça changerait si la méthode passe à l'échelle

Si DiffusionBlocks fonctionne un jour sur des modèles de plusieurs milliards de paramètres, les conséquences pourraient être importantes. Des chercheurs et des entreprises avec moins de ressources pourraient entraîner ou personnaliser des modèles bien plus grands avec des GPU plus accessibles. La méthode pourrait aussi simplifier l'entraînement distribué : puisque les blocs s'entraînent indépendamment, ils n'ont plus besoin d'échanger en permanence leurs activations et gradients avec les autres GPU. Chaque machine pourrait traiter un bloc différent avec beaucoup moins de communication — et donc potentiellement réduire la dépendance à des connexions ultra-rapides comme NVLink ou InfiniBand, un peu dans l'esprit de ce qu'on a vu récemment avec Dual Path chez DeepSeek.

Il faut rester prudent : les expériences présentées ici sont encore très loin de l'échelle de modèles comme GPT, Claude ou DeepSeek, et les chercheurs eux-mêmes reconnaissent que le passage à des modèles beaucoup plus grands reste à démontrer. Cette méthode concerne aussi principalement l'entraînement — pour faire tourner rapidement un LLM autorégressif, il faut toujours charger l'ensemble de ses couches en mémoire. DiffusionBlocks ne permet donc pas, en l'état, de faire tourner un modèle géant sur une petite carte graphique.

Mon avis

Malgré cette limite, DiffusionBlocks remet en question une règle qu'on considérait presque comme acquise dans l'IA moderne : l'idée que toutes les couches d'un réseau doivent obligatoirement être entraînées ensemble. Sakana AI montre qu'en transformant chaque groupe de couches en spécialiste d'une étape de débruitage, on peut entraîner un réseau bloc par bloc tout en gardant des performances compétitives. C'est le même genre de pari qu'on retrouve dans les tentatives récentes de repenser l'architecture des transformers : à un moment, ça ne suffit plus d'avoir plus de GPU, il faut aussi remettre en question la manière dont on entraîne les modèles.

Soyons honnêtes : pour l'instant, c'est une recherche prometteuse, pas encore une révolution industrielle. Mais si elle parvient réellement à passer à l'échelle des grands modèles, ça pourrait rendre l'entraînement des IA beaucoup plus accessible, et bousculer une partie de l'économie actuelle des GPU.

📤 Partager :
DiffusionBlocks : Sakana AI Divise La Mémoire D'Entraînement Par 4

🎬 Tu préfères la version vidéo ?

Cet article est tiré de ma vidéo YouTube — clique pour la voir.

Regarder sur YouTube →

🛠️ Outils que tu peux tester en lien avec cet article

Une sélection de mes outils testés, pertinents pour aller plus loin.

🛠️ Tu cherches des outils IA testés ?

J'ai testé plus de 20 outils IA en vidéo — résumé, mode d'emploi, mon verdict.

Voir mon annuaire d'outils →
Alan Sharif

Alan Sharif — créateur de Nerdy Kings

Je teste les outils IA et je décrypte les nouveaux modèles pour ma communauté de 30 000+ curieux francophones sur YouTube. Sans bullshit, sans hype, sans jargon.