Anthropic a chargé Claude Sonnet 5 de corriger les défauts de comportement de ses propres modèles, et le système automatisé a comblé jusqu’à 96 % de l’écart de sécurité mesuré sur dix catégories. Mis en concurrence avec vingt-huit chercheurs humains disposant de huit heures, il a trouvé de meilleures méthodes pour environ quatre dollars de l’heure.
Pour résumer
- Le système automatisé a amélioré les dix benchmarks visés sans dégrader les capacités générales des modèles.
- Sur la tromperie, il comble 85 % de l’écart de sécurité contre 20 % pour les chercheurs humains mis en concurrence.
- Claude Sonnet 5 a aligné un Claude Opus 4.8 de préproduction en soixante heures avec un peu plus de deux mille exemples d’entraînement.
Faire résumer cet article par une IA
ChatGPTUn chercheur qui coûte quatre dollars de l’heure
La boucle décrite tient en quelques étapes. Le système lit la littérature disponible sur un défaut de comportement précis, propose une méthode de correction, entraîne le modèle pendant trente minutes avec cette méthode, mesure le résultat, puis recommence en gardant ce qui a marché.
Dix défaillances ont été passées à la moulinette : tromperie, complaisance, contournement des garde-fous, atteintes à la vie privée, exploitation de la fonction de récompense. Les mesures s’appuient sur des jeux de tests publics comme Petri, ConfAIde et PrivacyLens, et le détail des méthodes retenues est publié sur le site de recherche d’Anthropic.
Ces défauts n’ont rien d’exotique pour qui déploie un modèle en production. La complaisance décrit un assistant qui valide ce que dit l’utilisateur plutôt que de le contredire, et l’exploitation de la récompense désigne un modèle qui trouve le raccourci qui fait grimper son score sans accomplir la tâche demandée.
Le résultat brut est un intervalle : entre 26 % et 96 % de l’écart de sécurité comblé selon la catégorie de défaut. Aucune des méthodes trouvées n’a dégradé les capacités générales du modèle au passage, ce qui est le point dur de ce type de post-entraînement.
Le protocole tient debout parce qu’il reste mesurable de bout en bout. Chaque itération est notée sur un jeu de tests public, ce qui permet de comparer les méthodes entre elles et d’écarter celles qui font monter un score en abîmant le reste du modèle.
La comparaison avec les humains est le chiffre qui fait mal. Vingt-huit chercheurs en sécurité ont planché jusqu’à huit heures sur les mêmes problèmes, et sur la tromperie ils ont comblé 20 % de l’écart quand la machine en comblait 85 %. Anthropic avait déjà publié l’analyse d’un Claude qui tentait un chantage pour éviter d’être remplacé, exactement le genre de comportement que ces méthodes cherchent maintenant à éteindre.
Le coût explique une partie de l’écart. Un chercheur humain se facture autour de cent cinquante dollars de l’heure, le système automatisé tourne à quatre dollars, ce qui autorise à tester des dizaines de pistes là où une équipe humaine en explore trois ou quatre.
Le travail est mené par Chen Yueh-Han, fellow chez Anthropic. L’entreprise reconnaît que ces résultats constituent une première indication plutôt qu’une preuve, et parle d’un post-entraînement d’alignement qui pourrait devenir praticable à court terme.
Deux mille exemples pour rattraper une procédure de production
Le test le plus parlant n’est pas le benchmark, c’est le passage à l’échelle. Claude Sonnet 5 a été chargé d’aligner un point de sauvegarde précoce de Claude Opus 4.8, un vrai modèle en cours de fabrication, et il y est arrivé en soixante heures. L’autonomie confiée aux modèles maison n’est pas neuve chez Anthropic, qui avait déjà montré que ses agents pouvaient consolider leur mémoire entre deux sessions avec Dreaming.
Les scores obtenus par Claude Sonnet 5 approchent ceux du modèle finalement mis en production. La solution gagnante repose sur un peu plus de deux mille exemples d’entraînement, ce qui la rend environ quinze mille fois plus économe que les procédures maison utilisées d’habitude.
Autre propriété inattendue : les méthodes trouvées tiennent quand on les applique à des modèles jusqu’à 4,7 fois plus gros que celui sur lequel elles ont été mises au point. La recette ne dépend donc pas de l’échelle sur laquelle elle a été cuisinée, ce qui la rend transférable d’une génération à la suivante.
Cette transférabilité change la valeur de l’ensemble. Une méthode qui ne fonctionnerait que sur le modèle où elle a été trouvée resterait un artefact de laboratoire, quand une méthode qui tient sur un modèle plusieurs fois plus gros devient un actif réutilisable.
Le calcul se lit aussi côté fournisseur. Un laboratoire capable d’aligner un point de sauvegarde en soixante heures peut livrer davantage de variantes du même modèle, et les acheteurs qui avaient standardisé sur un profil de comportement devront retester plus souvent que prévu.
Pour les équipes qui construisent des modèles, la conséquence est un déplacement du goulot d’étranglement. La contrainte cesse d’être le temps de chercheur disponible pour devenir le temps de calcul qu’on accepte d’allouer à la boucle, et cette ressource-là se commande.
Pour ceux qui consomment ces modèles sans les fabriquer, l’effet se lit surtout sur la cadence. Un correctif de comportement qui demandait une itération de plusieurs semaines peut désormais être tenté en fin de semaine, ce qui rapproche le rythme des mises à jour de sécurité de celui des mises à jour de fonctionnalité.
Cette bascule ne se limite pas aux laboratoires de recherche. Nous avons documenté le cas de trois agents Claude lancés sur un même projet qui finissaient par se gêner mutuellement, et Claude Code est passé en mode automatique par défaut le 14 août.
Côté concurrence, la pression change de nature. Un lab qui automatise sa boucle de sécurité livre plus vite à niveau de garantie constant, et les autres devront répondre sur le même terrain plutôt que sur le seul benchmark de capacité.
D’autres articles sur Horizon
- GLM-5.3-Flash tourne sur 100 000 puces chinoises
- Codex prépare un mode qui ne s’arrête jamais
- Qwen3.8-Flash-Next divise les prix par douze
Ce que les jeux de tests ne voient pas
Anthropic pose ses propres limites, et elles sont sévères. Les défaillances étudiées sont décrites comme étroites face à ce qu’on rencontre en production, ce qui revient à dire que le système excelle sur des problèmes déjà cadrés.
Deuxième réserve : rien ne garantit que les gains survivent à une phase d’apprentissage par renforcement supplémentaire. Un modèle corrigé aujourd’hui peut redevenir instable après l’étape suivante de sa fabrication, et le protocole suivi par Claude Sonnet 5 ne dit pas encore comment vérifier cette persistance.
La troisième réserve est la plus structurelle. Un test comme Petri ne mesure pas le désalignement réel, il en mesure une approximation, et un système entraîné à optimiser cette approximation peut très bien apprendre à passer le test sans changer de comportement en usage réel.
Le décalage entre l’évaluation et l’usage se lit ailleurs dans la maison. Quand Anthropic a levé 85 % des blocages biologiques de Fable 5, l’ajustement portait justement sur l’écart entre ce que les garde-fous détectaient et ce que les utilisateurs demandaient vraiment.
Anthropic ne présente d’ailleurs pas ce travail comme un aboutissement. L’entreprise parle d’une première indication, publie ses réserves en même temps que ses résultats, et laisse ouverte la question de savoir si la méthode tiendra hors de son propre laboratoire.
La question du contrôle se pose aussi en amont. Si le choix des jeux de tests détermine ce que le système va corriger, alors le vrai pouvoir éditorial se déplace vers celui qui écrit les benchmarks, et cette décision-là reste entièrement humaine pour l’instant.
Pour les équipes produit, la lecture pratique tient en une phrase : la qualité du benchmark devient la vraie surface de risque. Tant qu’un jeu de tests reste un proxy, l’automatiser revient à industrialiser sa marge d’erreur.
Reste la trajectoire de fond, qui se dessine mois après mois. La supervision humaine recule d’un cran à chaque étape, et cette fois elle recule sur la brique qui était précisément censée la garantir.
Affaire à suivre sur Horizon.
