Modèles et capacités
Anthropic affirme que Claude « dirige » 26 % de sa propre R&D — une étude indépendante de Princeton tempère la portée de ce chiffre
Anthropic
- Source
- Document primaire consulté
- Preuve
- Preuve actuelle non établie · dernière preuve du 19 septembre 2026
- Revue
- Contre-revue à compléter
Contre-vérification à compléter : La contre-vérification de cette version n’est pas établie. Lire la méthode
Le « R&D Automation Index » d'Anthropic distingue plusieurs niveaux d'automatisation : plus de 90 % du travail de R&D se fait déjà « en collaboration » avec Claude, et 26 % est désormais « dirigé » par le modèle, contre moins de 1 % en février 2026. Anthropic précise qu'aucune tâche n'est encore menée de façon totalement autonome. L'entreprise fait tourner environ 30 000 agents simultanés sur sa plateforme interne, avec une surveillance en ligne qui bloque environ une action sur 47 000 et une escalade humaine d'une cinquantaine de transcriptions signalées par semaine. Anthropic reconnaît deux limites méthodologiques majeures : les notes d'automatisation reposent en partie sur Claude évaluant son propre travail (accord humain-modèle de 59 %, contre 35 % entre deux humains), et la méthode capture l'automatisation de tâches déjà connues, pas l'émergence de tâches inédites. La même semaine, une étude Princeton (Kirgis, Kapoor, Narayanan et al., arXiv 2607.27191) a soumis à des agents de pointe deux questions de recherche réelles et non publiées destinées à NeurIPS 2026, avec six jours et environ 3 000 USD de crédits de calcul : les agents ont mené tout le travail d'ingénierie sans aide humaine mais n'ont produit aucune avancée jugée substantielle par les auteurs originaux, qui ont rejeté les deux articles.
Réserve
L'indice Anthropic repose en partie sur une auto-évaluation par Claude, avec un accord humain-modèle de 59 % seulement (contre 35 % entre deux humains) : plus élevé qu'un désaccord humain typique, mais pas une mesure indépendante parfaite. Anthropic précise elle-même que sa méthode capture l'automatisation de tâches déjà répertoriées, pas l'émergence de tâches nouvelles. L'étude Princeton ne porte que sur deux cas et mesure une capacité différente (mener une recherche ouverte de bout en bout) : les deux résultats ne sont pas directement comparables terme à terme, mais ils portent sur la même question de fond — la part réelle d'autonomie des agents dans la recherche IA.
Ce qu’il faut comprendre
Anthropic mesure ses propres progrès avec une méthode qui s'appuie en partie sur Claude pour évaluer le travail de Claude : l'indice n'est pas un audit mené par un tiers indépendant.
Mettre en perspective
Le même mois, une étude indépendante de Princeton a confié à des agents de pointe une vraie question de recherche non publiée plutôt qu'un test standardisé : ils ont mené tout le travail d'ingénierie sans aide humaine, mais leur production a été jugée insuffisante par les auteurs des articles originaux.
La question à creuser
Si l'automatisation mesurée par Anthropic progresse aussi vite qu'annoncé, pourquoi les mêmes agents échouent-ils encore à produire une contribution de recherche jugée publiable par des chercheurs extérieurs ?
Pourquoi ce sujet compte
Aucun produit ni tarif européen n'est concerné directement par cette annonce. Pour une équipe belge qui envisagerait de confier des tâches de R&D à des agents IA, la leçon pratique est la même que celle de l'étude Princeton : la vitesse d'exécution mesurée par ce type d'indice ne dit rien du jugement scientifique produit — à vérifier au cas par cas sur ses propres tâches, pas à déduire d'un pourcentage annoncé par un fournisseur.
Preuves
- Anthropic — Measurements for understanding the pace of AI development inside frontier labs (nouvel onglet)
- Kirgis, Kapoor, Narayanan et al. — Can AI agents conduct open-ended AI research? Early evidence from two case studies (arXiv 2607.27191) (nouvel onglet)
Détection : aucun signal enregistré
Dernière tentative de lecture : 2026-09-19.
Une source permet d’examiner une affirmation dans son contexte. Son statut et le nombre de liens ne garantissent pas le résultat. La méthode est décrite dans les sources et les limites.