L’Étude Tencent menée par Youtu Lab et plusieurs universités chinoises rappelle la réalité du terrain. GPT-4 ne boucle que 14 % des tâches WebArena, les agents de code échouent une fois sur deux à invoquer leurs propres skills, et la documentation passive bat à plate couture le skill retrieval actif.
Pour résumer
- GPT-4 ne complète que 14 % des tâches WebArena, malgré ses performances en mode Q&A.
- Les agents de code échouent à invoquer leur skill system 56 % du temps, et plafonnent à 79 % de succès quand ils y parviennent.
- L’intégration passive du contexte atteint 100 % de réussite, là où le skill retrieval actif reste bridé.
Faire résumer cet article par une IA
ChatGPTWebArena, 14 % de réussite : l’écart entre Q&A et action
L’Étude Tencent prend WebArena comme banc d’essai, un environnement qui simule des tâches web réalistes sur lesquelles un agent doit cliquer, lire, remplir et valider. GPT-4 y boucle 14 % des scénarios proposés.
L’écart avec ses performances en Q&A pur est massif. Le même modèle qui répond avec aisance à des questions ouvertes plante dès que l’environnement exige une suite d’actions chaînées, vérifiables et persistantes. L’écart entre la réponse plausible et la tâche finie reste le mur principal des agents.
Les auteurs insistent sur ce point. Le passage de la complétion textuelle à l’exécution déléguée n’est pas un saut quantitatif d’un point de performance. C’est un changement de nature, qui nécessite un workspace persistant, un état partagé, et une mécanique de vérification que les benchmarks classiques ignorent.
L’étude relève aussi que les efforts actuels du marché surévaluent ce que les démos ponctuelles laissent voir. Une démo agent réussit parce qu’elle est calibrée. Une mise en production accumule les conditions imprévues, et c’est là que le 14 % devient la mesure honnête.
Les annonces récentes des labs occidentaux n’effacent pas ce constat. Gemini 3.5 Flash sait désormais piloter un ordinateur sur OSWorld, mais la fiabilité reste l’enjeu central que l’Étude Tencent place au cœur du débat.
Skill 79 % vs documentation 100 % : le paradoxe d’architecture
L’angle le plus contre-intuitif de l’étude porte sur l’architecture. Quand un agent dispose d’un skill system censé l’aider à exécuter des procédures réutilisables, il échoue à le déclencher 56 % du temps.
Quand il y parvient, son taux de réussite plafonne à 79 %. Le skill retrieval actif laisse donc une part importante de la valeur sur la table, à cause d’un problème d’orchestration plutôt que d’un problème de capacités brutes.
À l’opposé, l’embedding passif du contexte, où la documentation est toujours présente dans la fenêtre, atteint 100 % de succès sur la même série de tâches. Le contexte permanent bat le contexte sur appel, contre l’intuition d’une architecture modulaire propre.
La leçon a un coût direct. Le contexte permanent gonfle la fenêtre, donc les tokens, donc la facture. Les architectures à skill discret semblaient plus économiques, l’étude indique qu’elles laissent une part substantielle de la valeur inexploitée à cause du déclenchement raté.
Les auteurs concluent en posant une équation : workspace persistant plus skill systems plus garde-fous égale autonomie utilisable. Aucun des trois piliers ne suffit isolé, et la gouvernance, le rollback et la sécurité doivent venir avec, sans quoi le passage en production reste compromis.
À voir également sur Horizon :
- Sondage Anthropic : Claude fait la moitié de votre job
- Biais politique IA : seul Gemini reste équilibré
- Mythos relance : Trump rouvre l’accès à 100 acteurs US
Court terme : l’agent reste un outil, pas un coworker
À court terme, l’Étude Tencent freine l’enthousiasme installé par les annonces produit des labs occidentaux. Présenter un agent comme un coworker autonome relève encore de la promesse plus que du constat opérationnel.
Les déploiements enterprise les plus avancés s’inscrivent dans cette ligne. Les agents IA en entreprise, dont la dernière vague illustrée par Claude Tag qui s’installe dans les Slack, sont des assistants attachés à un humain et à un contexte précis, jamais des opérateurs livrés sans supervision.
À moyen terme, sur trois à six mois, le marché va devoir choisir entre deux trajectoires. Soit l’on accepte le coût d’un contexte massivement embarqué pour gagner en fiabilité, soit l’on investit dans l’orchestration pour rendre les skill systems réellement déclenchables. Les deux options coûtent cher, et la chasse au benchmark va s’intensifier.
Le différend reste ouvert sur la gouvernance. Les auteurs réclament des mécanismes de rollback et des contrôles de sécurité, ce qui suppose que l’agent évolue dans un cadre qui sait défaire ce qu’il vient de faire. Cette infrastructure est encore largement à inventer.
L’Étude Tencent ne tue pas le récit des agents. Elle remet l’horizon à sa place, et donne aux acheteurs enterprise un argument quantifié pour exiger des engagements précis sur la fiabilité plutôt que des démonstrations. La trajectoire reste favorable, mais la marche est plus haute qu’annoncé.
Affaire à suivre sur Horizon.
