Agents de code : le plus rapide est aussi le plus cher

Un banc d’essai sur les agents de code, mené par Composio sur 30 scénarios réels, place Claude Code en tête sur la vitesse d’exécution, avec 122 secondes par tâche. Mais chaque tâche réussie y revient à 0,195 $, soit près de trois fois le prix d’OpenCode.

Pour résumer

• Quatre agents comparés sur les mêmes 30 tâches Gmail, GitHub, Slack et Notion, tous animés par DeepSeek V4 Flash.
• Claude Code boucle une tâche en 122 secondes contre 272 pour Oh My Pi, soit un écart de 2,2 fois.
• Sept tâches ont réussi ou échoué uniquement en fonction de l’agent qui les exécutait, à taux de réussite global comparable.

Quatre agents, un seul modèle sous le capot

Le protocole retenu pour comparer ces agents de code a un mérite : il neutralise la variable modèle. Les quatre agents comparés, Claude Code, Codex, OpenCode et Oh My Pi, tournaient tous sur DeepSeek V4 Flash.

Ce choix isole ce que l’on cherche à mesurer. Ce n’est pas la qualité du raisonnement du modèle qui est en jeu, mais la manière dont chaque framework découpe une tâche, appelle ses outils et gère son contexte.

La question a d’autant plus de sens que l’accès à ces outils n’est pas garanti en entreprise. Plusieurs grands groupes ont restreint certains agents en interne, à l’image d’Alibaba qui a bloqué Claude Code pour ses propres employés. Savoir ce qu’apporte réellement un framework par rapport à un autre devient alors un arbitrage concret.

Les 30 scénarios portent sur des outils que tout le monde utilise au quotidien : Gmail, GitHub, Slack et Notion. Pas de puzzle académique, pas de benchmark synthétique, des enchaînements du type lire un fil, ouvrir une issue, poster un message, mettre à jour une page.

Ce choix de terrain compte. Ces tâches passent par des API tierces, avec de l’authentification, de la pagination et des formats de retour hétérogènes. C’est exactement là que la qualité d’orchestration d’un agent se voit, bien plus que sur un exercice de code isolé.

Le taux de réussite reste comparable d’un agent à l’autre, ce qui rend le reste des mesures lisible. Oh My Pi passe 17 tâches sur 30, OpenCode en réussit 14, et l’écart entre les extrêmes ne suffit pas à départager les frameworks sur la seule fiabilité.

Le détail le plus dérangeant est ailleurs. Sept tâches ont basculé du succès à l’échec, ou l’inverse, uniquement selon le framework qui les portait. Le même modèle, la même consigne, un résultat opposé.

Sept sur trente, cela représente près d’un quart du jeu de tâches. À ce niveau, un taux de réussite affiché cesse d’être un résumé fiable, puisque le chiffre bougerait sur une autre liste de tâches tirée des mêmes outils.

122 secondes contre 272, pour 0,195 $ contre 0,073 $

Sur la vitesse, l’écart est franc. Claude Code exécute une tâche en 122 secondes, Oh My Pi en demande 272, soit un rapport de 2,2 entre le plus rapide et le plus lent du panel.

Sur le coût, le classement s’inverse. Une tâche réussie revient à 0,195 $ sur Claude Code et à 0,073 $ sur OpenCode, un facteur proche de trois entre le plus cher et le moins cher du panel.

L’explication ne tient pourtant pas à un gaspillage de tokens. Claude Code utilise le moins d’appels d’outils du panel et génère le moins de tokens en sortie. Il fait moins de choses, plus vite, et coûte quand même davantage.

Ce paradoxe apparent renvoie à la structure de facturation plutôt qu’à la frugalité technique. Un framework sobre en appels peut rester cher si le prix unitaire de ce qu’il consomme est plus élevé, et c’est exactement le compromis que documente ce banc d’essai.

Le sujet n’est pas neuf pour les équipes qui déploient. Nous avions consacré un dossier au moment où la facture des agents de code a commencé à inquiéter sérieusement les DSI, et ces mesures viennent enfin donner des chiffres comparables à cette inquiétude.

Il faut aussi rapporter ces montants à une échelle réaliste. Douze centimes d’écart par tâche restent anecdotiques sur un poste de développeur isolé. Sur une chaîne d’intégration continue qui déclenche plusieurs milliers d’exécutions par mois, la même différence pèse plusieurs centaines de dollars.

Un dernier point mérite prudence. Ces chiffres valent pour un modèle donné, à une date donnée, sur un jeu de tâches précis. Un changement de tarification côté fournisseur suffit à redistribuer entièrement le classement, sans qu’une seule ligne de code ait bougé dans les frameworks.

D’autres articles sur Horizon

• Intrusions coordonnées : OpenAI ralentit sa recherche
• Anthropic construit sa puce IA maison
• Les prix DeepSeek vont grimper pour les développeurs

Quel arbitrage selon le type de charge

Pour une équipe, la question devient simple à formuler : qu’est-ce qui coûte le plus cher, deux minutes d’attente ou douze centimes de facture ? La réponse dépend entièrement du contexte d’exécution.

En usage interactif, un développeur qui attend le retour de l’agent avant de reprendre son travail rentabilise largement l’écart de prix. Deux minutes d’attente supplémentaires par tâche, multipliées par plusieurs dizaines de tâches par jour, coûtent bien plus cher en temps humain.

En traitement de fond, l’arbitrage bascule totalement. Une file de tâches nocturnes n’a aucune raison de payer trois fois plus pour un résultat livré plus tôt dans une nuit dont personne ne surveille l’avancement.

Rien n’oblige d’ailleurs à choisir un seul outil. Une équipe peut parfaitement router les tâches interactives vers le framework le plus rapide et laisser les traitements différés au moins cher, à condition d’accepter la charge de maintenance de deux intégrations distinctes.

La volatilité mesurée sur sept tâches change en revanche la nature du choix. Un framework qui fait réussir ou échouer une tâche indépendamment du modèle impose de tester sur son propre corpus avant de trancher, parce que la moyenne du panel ne dit rien du cas particulier.

Cette volatilité invite d’ailleurs à faire tourner deux frameworks en parallèle pendant la phase de qualification. Le surcoût d’une double exécution sur quelques dizaines de tâches représentatives reste dérisoire face au coût d’un mauvais choix industrialisé pendant un an.

Anthropic a de son côté élargi le périmètre de son agent au fil de l’été, notamment quand Claude Code a embarqué un navigateur pour agir directement sur le web. Chaque capacité ajoutée déplace la comparaison et rend obsolète le banc d’essai précédent.

Pour les concurrents, le message est lisible. Le différenciant ne se joue plus sur la capacité brute à accomplir la tâche, puisque le modèle est interchangeable, mais sur l’efficacité de l’orchestration. C’est un terrain où un projet ouvert peut rattraper un éditeur en quelques mois.

Affaire à suivre sur Horizon.