Astra arrive avec un score de 99,9 % sur ARC-AGI-3 et une facture 2,5 fois supérieure à celle de GPT-5.6 Sol. Ce test GPT-6 Astra rassemble les évaluations publiées, les tarifs réels et les conditions de mesure, pour établir où le surcoût se défend et où il ne se défend pas.
Pour résumer
- Le 99,9 % d’ARC-AGI-3 vient d’un harnais maison ; le harnais standard du même test donne 62,7 %.
- Astra domine l’usage machine et la cybersécurité, mais reste derrière Fable 5.1 sur l’indice agrégé et sur le raisonnement outillé.
- Le cache décide de la note finale : 1 dollar le million en lecture, 12,50 dollars en écriture.
Faire résumer cet article par une IA
ChatGPTCe que le harnais fait dire à un score
Le premier réflexe de ce test GPT-6 Astra a été de séparer le chiffre de sa méthode. Le 99,9 % affiché sur ARC-AGI-3 a été obtenu avec un adaptateur de fournisseur écrit pour l’occasion, pas avec l’échafaudage par défaut du benchmark.
Repassé au harnais standard, le même modèle sur le même test descend à 62,7 %. Trente-sept points d’écart ne mesurent pas une capacité, ils mesurent l’outillage qui l’entoure.
La réserve ne vaut heureusement pas pour tout. Le modèle avait déjà signé une performance qu’aucun échafaudage ne fabrique, en fermant dix problèmes de mathématiques restés ouverts, et ce type de résultat se vérifie sans discussion de méthode.
Cette distinction n’est pas un détail méthodologique pour une équipe qui prépare une migration. Le score du haut de la fiche produit décrit un plafond atteignable avec du code sur mesure, pas le comportement du modèle branché sur une chaîne existante.
Le problème se répète ailleurs, sous une autre forme. Il n’existe à ce jour aucun benchmark de code multi-fournisseurs exécuté dans un harnais unique qui inclue Astra, ce qui rend toute table de comparaison directe sur le code difficile à prendre au sérieux.
La seule mesure indépendante marquante du segment appartient d’ailleurs à un concurrent. Claude Opus 5 inscrit 97,0 % sur SWE-bench Verified chez Vals AI, dans un harnais bash minimal, et personne n’a encore fait tourner Astra dans les mêmes conditions.
Les résultats cyber posent une réserve du même ordre. Les 100 % d’ExploitBench et les 42,4 % d’ExploitGym ont été relevés sans les garde-fous de production, donc sur un modèle que personne n’utilisera dans cet état.
La conséquence pratique est simple à formuler. Tant que ces conditions ne sont pas reproduites, la colonne cybersécurité de la fiche décrit un potentiel maximal, pas une capacité livrée.
Là où Astra creuse vraiment l’écart
Une fois les scores douteux écartés, il reste un socle solide. L’usage machine est le domaine où le modèle prend le plus nettement le dessus sur la génération précédente.
OSWorld 2.0 monte à 72,6 % contre 65,7 % pour GPT-5.6 Sol, avec des tâches bouclées 47 % plus vite. ScreenSpot-Pro passe de 76,9 % à 92,7 %, soit près de seize points sur la localisation d’éléments à l’écran.
Le gain de vitesse compte davantage que le gain de score dans une boucle d’agent. Une tâche qui se termine deux fois plus vite consomme moins de tours, donc moins de tokens de sortie, ce qui atténue une partie du surcoût affiché.
Sur le travail professionnel structuré, l’écart devient franc. AutomationBench donne 41,4 % contre 31,4 % pour Fable 5.1 et 18,1 % pour Sol, et BenchCAD affiche 95,9 % contre 84,3 %.
La lecture longue tient aussi ses promesses. La précision reste à 100 % entre 256 000 et 512 000 tokens, puis 96,3 % au-delà, sur une fenêtre qui accepte 922 000 tokens en entrée.
Le domaine cyber reste le plus spectaculaire malgré les réserves de méthode. SRE-Bench passe de 55,9 % à 88,0 %, et le modèle a mis au jour deux failles zero-day inconnues au cours de sa propre évaluation, ce qui explique le classement au seuil critique anticipé dès août.
Sur le code en revanche, les marges se resserrent au point de disparaître. Terminal-Bench 4.0 donne 57,7 % contre 55,8 % pour Fable 5.1, FrontierCode 1.1 Main donne 53,3 contre 53,5 pour Fable 5, et FrontierCode Extended place carrément Fable 5 devant à 64,9 % contre 64,5 %.
DeepSWE v1.1 achève de nuancer le tableau. Astra y marque 74,1 %, devant Sol à 72,7 %, mais derrière Muse Spark 1.3 à 75,4 % pour un tarif sans commune mesure.
L’indice agrégé confirme cette lecture. Artificial Analysis place Astra à 61,2, à égalité avec la génération précédente, quand Fable 5.1 tient 65,7.
D’autres articles sur Horizon
- GPT-6 Astra : OpenAI revendique l’IA générale
- OpenAI rend le raisonnement d’Astra plus dur à suivre
- Gemini 3.8 Flash talonne Claude Opus 5 sur le code
Notre verdict, charge de travail par charge de travail
La grille est simple à retenir. Dix dollars le million en entrée, cinquante en sortie, un dollar pour l’entrée mise en cache et douze dollars cinquante pour l’écriture en cache.
C’est ce dernier chiffre qui décide de la facture réelle. Une charge dont le préfixe reste stable amortit largement le surcoût, une charge qui réécrit son contexte à chaque appel accumule des écritures de cache facturées douze fois le prix de la lecture.
Le mode rapide se juge selon la même logique. Il multiplie la note par deux et demi pour un facteur de vitesse équivalent, ce qui en fait un arbitrage de latence, jamais une économie.
L’outillage disponible pèse dans la balance et il est complet. Le modèle accepte la recherche web, la recherche de fichiers, l’interpréteur de code, un shell hébergé, l’application de correctifs, l’usage machine et le protocole MCP.
Pour un agent qui pilote une interface ou une chaîne de bureautique, l’adoption se défend sans discussion. C’est le seul terrain où les écarts mesurés sont larges, reproduits sur plusieurs benchmarks et cohérents avec le gain de vitesse annoncé.
Pour une équipe qui écrit du code toute la journée, notre verdict est de patienter. Un ou deux points d’écart obtenus dans des harnais différents ne paient pas un tarif deux fois et demie supérieur à celui de la génération précédente, surtout quand un modèle concurrent passe devant sur DeepSWE.
Pour la recherche de vulnérabilités, l’accès reste de toute façon filtré. Les capacités offensives les plus avancées passent d’abord par les testeurs, ce qui repousse la question à un déploiement dont le calendrier n’est pas public.
Reste le point que ce test ne peut pas trancher aujourd’hui, faute de recul. Les données de lancement sont trop minces pour confirmer que les gains d’efficacité couvrent la prime tarifaire sur des semaines de charge réelle, et la revendication d’intelligence générale qui accompagne la sortie ne change rien à cette arithmétique.
Nous reprendrons la mesure quand un harnais commun aura fait tourner Astra et ses concurrents dans les mêmes conditions. D’ici là, la fiche produit décrit un plafond, et la facture décrit le quotidien.
Affaire à suivre sur Horizon.
