L’ESSENTIEL · ÉDITION DU
Anthropic annonce que Claude « dirige » 26 % de sa R&D : que vaut ce chiffre ?
Contre-vérification à compléter : La contre-vérification de cette version n’est pas établie. Lire la méthode
Anthropic a publié le 17 septembre un indice mesurant la part de sa propre recherche sur les modèles menée par Claude plutôt que par des humains : 26 % du travail serait désormais « dirigé » par le modèle, contre moins de 1 % en février. C'est un chiffre impressionnant, présenté avec méthodologie et réserves par l'entreprise elle-même.
C'est exactement le cas que couvre le décryptage ci-dessous : un score dépend du dispositif qui l'a produit. Ici, Anthropic reconnaît qu'une partie de la notation repose sur Claude évaluant le travail de Claude, avec un accord humain-modèle de 59 % seulement — mieux qu'un simple hasard, mais loin d'un accord parfait. Le même mois, une étude indépendante de Princeton a testé des agents sur deux vraies questions de recherche non publiées : ils ont réalisé tout le travail d'ingénierie, mais leurs articles ont été rejetés par les auteurs originaux, faute de jugement scientifique.
Les deux résultats ne mesurent pas exactement la même chose, et ce n'est pas une raison de rejeter l'un ou l'autre en bloc. C'est une raison de poser, pour tout chiffre de ce genre, les mêmes questions que pour un benchmark : qui a mesuré, avec quel protocole, et qu'est-ce que le score inclut réellement ?
L'exercice ci-dessous vous entraîne à comparer deux scores obtenus dans des conditions différentes ; appliquez la même grille la prochaine fois qu'un fournisseur d'IA annonce un pourcentage de progrès sur son propre travail.
Vous avez l’essentiel. Pour vérifier votre compréhension : Comparer deux scores sans surinterpréter.
Pour approfondir : Que mesure vraiment un benchmark ?