GPT-6 Astra avait décroché 61 points sur l’Intelligence Index, exactement le score de son prédécesseur, ce qui a déclenché une vague de contestation. Artificial Analysis vient de publier une version 4.2 de son classement qui rend quatre points au modèle d’OpenAI. Deux nouveaux tests entrent, un ancien sort, et 40 % de la pondération repose désormais sur des données privées.
Pour résumer
- Astra notait 61 à effort de raisonnement maximal, soit le score exact de GPT-5.6 Sol
- La version 4.2 de l’index lui rend quatre points d’avance sur son prédécesseur
- Claude Fable 5.1 reste en tête du classement, Astra deuxième et Meta troisième
Faire résumer cet article par une IA
ChatGPTSoixante-et-un points pour un modèle présenté comme une rupture
Le chiffre a mal vieilli en quelques heures. Poussé à son effort de raisonnement maximal, Astra n’obtenait que 61 points sur l’Intelligence Index d’Artificial Analysis, c’est-à-dire le score exact de GPT-5.6 Sol, le modèle qu’il était censé remplacer.
L’écart avec le reste des mesures a sauté aux yeux. D’autres batteries de tests plaçaient Astra nettement au-dessus de Sol, un contraste d’autant plus visible qu’OpenAI avait présenté ce lancement comme l’entrée dans l’ère de l’intelligence générale.
La critique n’a pas visé le modèle mais l’instrument. Un classement qui donne le même résultat à deux générations successives ne dit rien sur le progrès réel, il dit surtout que ses épreuves ne mesurent plus ce qui a changé entre les deux.
Artificial Analysis avait pourtant relevé une progression ailleurs. Sur son index consacré aux agents de code, Astra se hisse à égalité avec Fable 5 pour un coût inférieur, un résultat qui contredisait frontalement la note plate obtenue sur l’index généraliste.
L’organisme a aussi mesuré une efficacité en hausse. Astra consomme moins de jetons que Sol pour une performance comparable, mais cet avantage se retrouve annulé par des tarifs plus élevés, et Artificial Analysis détaille l’ensemble de ces relevés dans son rapport de mesures consacré à GPT-6 Astra.
Ce point de prix rejoint ce que nous avions relevé à la sortie. Le saut de génération se paie, et notre test du modèle avait déjà pointé le rapport entre ce que le tarif d’Astra coûte et ce qu’il achète réellement.
AA-Briefcase et GDP.pdf entrent, GPQA-Diamond sort
La version 4.2 change la composition de l’épreuve. Deux tests font leur entrée, AA-Briefcase qui porte sur du travail de la connaissance en conditions réelles, et GDP.pdf fourni par Surge AI qui évalue l’analyse de documents au format PDF.
Un test historique disparaît dans le même mouvement. GPQA-Diamond est retiré parce que les modèles le résolvent, un cas classique de saturation où une épreuve cesse de discriminer dès que tous les candidats la réussissent.
Le changement le plus structurant concerne les données. Les jeux de test privés pèsent désormais 40 % de la note globale, une part pensée pour rendre l’optimisation ciblée beaucoup plus difficile à des laboratoires qui connaîtraient les épreuves publiques par cœur.
Le résultat de ce recalcul est net. Astra affiche quatre points d’avance sur son prédécesseur, ce qui replace la génération dans une trajectoire de progrès sans pour autant lui donner la première place.
Le podium reste en effet tenu par Anthropic. Claude Fable 5.1 conserve la tête, Astra prend la deuxième position et Meta complète le trio, une hiérarchie cohérente avec ce que notre test de Fable 5.1 avait observé sur le coût du cache et la qualité du code.
D’autres articles sur Horizon
- La productivité d’Astra fait gagner six mois à OpenAI
- Les agents DeepMind ont triché puis se sont dénoncés
- Test GPT-6 Astra : le prix du saut générationnel
Un classement devenu une pièce du marché
Pour les équipes qui arbitrent un choix de modèle, la leçon utile porte sur la méthode. Un index qui change de composition en cours d’année interdit toute comparaison directe entre deux notes séparées de quelques semaines, et le numéro de version devient une information aussi importante que le score lui-même.
La conséquence pratique est simple à formuler. Une décision d’infrastructure qui repose sur un classement généraliste doit désormais être doublée d’un test interne sur les tâches réelles de l’équipe, faute de quoi elle suit les révisions d’un tiers plutôt que ses propres besoins.
Côté laboratoires, l’épisode installe un précédent inconfortable. Un classement indépendant qui se révise après contestation publique voit son autorité discutée, alors que c’est précisément cette autorité qui fait sa valeur pour les acheteurs.
La part de données privées répond à cette fragilité. En rendant une partie des épreuves invisible aux laboratoires, Artificial Analysis se protège du reproche le plus lourd qui pèse sur tous les classements publics, celui de mesurer l’entraînement sur le test plutôt que la capacité générale.
Cette opacité assumée arrive dans un contexte qui l’était déjà. Les mesures externes deviennent d’autant plus décisives que la transparence recule côté modèles, puisque le raisonnement d’Astra est devenu plus difficile à suivre pour qui veut l’auditer.
La prochaine révision servira de test à l’organisme. Si un futur modèle contesté déclenche une nouvelle mise à jour de méthode, la question ne portera plus sur un score mais sur la capacité d’un classement privé à rester l’arbitre d’un marché qui pèse désormais des dizaines de milliards.
Affaire à suivre sur Horizon.
