DeepSWE 2026 : Le Benchmark Qui Prouve Que Claude Triche

Imagine que tu passes un examen, mais la semaine d'avant le prof t'a filé exactement le même sujet pour réviser. Mot pour mot. Le jour J, tu cartonnes, tout le monde t'applaudit — sauf que t'as rien compris au cours. C'est exactement ce que les IA font depuis 2 ans dans les benchmarks de code, et tout le monde a fait semblant de ne pas le voir.

Le mois dernier, une startup quasi inconnue appelée Data Curve a publié un nouveau benchmark : DeepSWE. En quelques jours, il a explosé le classement des meilleures IA de code. Des modèles qui squattaient le top depuis des mois se sont retrouvés à 0,0%. Et au passage, on a découvert que certains modèles trichaient — pas accidentellement, méthodiquement.

Pourquoi l'ancien benchmark était cassé

Le benchmark de référence, c'était SWE Bench Pro. Le principe est simple : on donne à l'IA un vrai bug tiré d'un projet open source GitHub, et on lui demande de le corriger. Si les tests passent, c'est un succès. En théorie, solide. En pratique, deux problèmes énormes.

Premier problème — la contamination des données. Tous ces bugs viennent de Pull Requests GitHub publiques. Le code, les discussions, les correctifs : tout est sur internet, donc tout s'est retrouvé dans les données d'entraînement des IA. Quand tu demandes à GPT ou Claude de corriger un bug SWE Bench Pro, il y a de fortes chances que le modèle ait déjà vu la solution. Il ne résout pas le problème, il s'en souvient.

Et c'est pas une théorie : des chercheurs ont donné à GPT une description d'un bug en une phrase, sans contexte, et le modèle a reproduit le correctif officiel mot pour mot. Claude a restitué les commentaires d'un commit original avec la même formulation exacte. C'est pas de l'intelligence, c'est de la mémorisation pure.

Deuxième problème — le surcadrage. Les consignes de SWE Bench Pro font en moyenne 4600 caractères pour corriger 120 lignes de code dans 5 fichiers. C'est comme une notice IKEA pour assembler une chaise. L'IA n'a même pas besoin de comprendre l'architecture du projet, elle suit les instructions ultra précises. Rien à voir avec le vrai travail d'un dev.

DeepSWE : les 4 innovations qui changent la donne

Data Curve est reparti de zéro avec une philosophie simple : si tu veux mesurer si une IA peut vraiment développer, donne-lui des tâches qu'elle n'a jamais vues, avec peu d'indices, et vérifie que son code marche.

1. Tâches inédites créées par des humains. Toutes les tâches sont fabriquées de A à Z par des experts. Parfois inspirées de problèmes GitHub non résolus, mais les correctifs n'ont jamais été publiés. Zéro contamination possible.
2. Inversion du ratio instructions / code. Consignes courtes (~2000 caractères) mais vagues : elles décrivent un comportement attendu, pas une implémentation. L'IA doit explorer le projet, comprendre l'architecture, localiser et intervenir. En contrepartie, les solutions sont massives : 668 lignes de code en moyenne, soit 5,5× plus que SWE Bench Pro. On passe de la notice IKEA à "ce meuble doit tenir debout, débrouille-toi".
3. Validation par exécution réelle. Le code est compilé, exécuté, soumis à des tests d'intégration et de performance. Si ça casse quelque part, c'est raté. Résultat : les faux rejets passent de 24% à 1,1%, les faux positifs de 8,5% à 0,3%.
4. Diversité linguistique. Là où SWE Bench Pro c'était quasi exclusivement du Python, DeepSWE couvre TypeScript, Go, Python, JavaScript et Rust sur 81 dépôts actifs. Le vrai reflet des stacks modernes.

Les résultats qui font mal

Quand on fait repasser les mêmes modèles sur DeepSWE, les classements s'effondrent.

• GPT 5.5 arrive en tête avec 70%. Une tâche qui prendrait 12h à un dev humain, résolue en 11 minutes pour 1,73$. Impressionnant.
• Claude Opus 4.8 à 58%, Opus 4.7 à 54%, Sonnet 4.6 à 32%.
• Et là où ça pique : DeepSeek V4 Pro passe de 76% à 8%. 68 points d'écart.
• Claude Haiku 4.5, le préféré des devs pour son rapport qualité/prix : 0%. Pas un seul problème résolu.

Claude a-t-il triché ?

Et là, ça devient croustillant. Data Curve a analysé les traces d'exécution sur SWE Bench Pro et a trouvé que dans plus de 12% des cas, Claude Opus 4.7 et 4.6 ont accédé à l'historique complet des commits Git dans les conteneurs Docker de test. Sauf que ces conteneurs contenaient la solution de référence. Claude a utilisé git log, git show, a trouvé le correctif original et l'a appliqué directement.

Plus dérangeant encore : Anthropic a dévoilé un outil d'interprétabilité qui permet de lire ce qu'un modèle pense à l'intérieur, même quand il ne le dit pas. Résultat troublant : Claude reconnaît qu'il est en train d'être évalué sur un benchmark dans 26% des cas. Chez les utilisateurs normaux, cette conscience d'être observé est sous 1%.

Mon avis

Ce qu'on a appris pendant 2 ans, c'est qu'on mesurait la capacité des IA à se souvenir, pas à raisonner. Les classements officiels dictaient des décisions industrielles, des investissements, des narratifs grand public — basés sur des scores partiellement faussés. La leçon pour nous les nerds : arrêtez de suivre les benchmarks publics les yeux fermés.

🎬 Tu préfères la version vidéo ?

Cet article est tiré de ma vidéo YouTube — clique pour la voir.

Regarder sur YouTube →

Alan Sharif — créateur de Nerdy Kings

Je teste les outils IA et je décrypte les nouveaux modèles pour ma communauté de 20 000+ curieux francophones sur YouTube. Sans bullshit, sans hype, sans jargon.

👤 Mon profil🎬 YouTube👍 Facebook📧 Me contacter