Modèles et capacités · Revu le 10 septembre 2026
Que mesure vraiment un benchmark ?
Contre-vérification à compléter : La contre-vérification de cette version n’est pas établie. Lire la méthode
Un modèle dépasse un autre dans un classement. Avant de changer d’outil, il faut comprendre ce qui a été mesuré et ce qui reste à vérifier.
Un score répond à une question limitée
Un benchmark est un ensemble de tâches accompagné de règles d’évaluation. Il peut porter sur le code, les mathématiques, la compréhension de documents ou d’autres capacités. Un résultat élevé sur un ensemble ne décrit pas toutes les utilisations possibles. Le nom de l’épreuve, sa version et le type de réponse attendu font donc partie du résultat.
La méthode d’Artificial Analysis distingue notamment qualité, vitesse et prix. Ces dimensions éclairent des choix différents : une réponse rapide peut être insuffisante, une excellente réponse trop lente pour l’usage prévu. L’Observatoire utilise ces mesures comme des repères, puis cherche les conditions dans lesquelles elles ont été obtenues.
Le modèle n’est pas tout le système
Un assistant peut disposer d’une recherche web, d’un interpréteur de code, de documents ou de plusieurs essais. Le résultat dépend alors du modèle et du dispositif qui l’entoure. Si un test autorise dix tentatives et un autre une seule, les pourcentages ne répondent pas exactement à la même question.
Avant de comparer deux chiffres, relevez cinq éléments : les tâches, la version du modèle, les outils autorisés, le budget d’essais et la règle qui décide si la réponse est correcte. Une information manquante est une limite à signaler. Elle ne prouve pas que le résultat est faux.
Un exemple pour voir la différence
Exemple fictif : un assistant A trouve la bonne formule dans 8 exercices sur 10 sans outil. Un assistant B réussit 9 exercices sur 10 avec une calculatrice et trois essais. On peut affirmer que B réussit davantage dans ce dispositif. On ne peut pas en déduire que son modèle seul raisonne mieux.
Cette différence est pratique. Si votre équipe utilisera la calculatrice, le système B peut vous intéresser. Si elle doit répondre immédiatement sans outil, le résultat de A est plus proche de votre situation. Le bon comparatif dépend de ce que vous cherchez à décider.
Passer du classement à votre travail
Constituez un petit ensemble de tâches représentatives et anonymisées. Définissez avant le test ce qui rend une réponse utilisable : exactitude des faits, respect des consignes, présence de sources, temps de contrôle ou format attendu. Réservez quelques exemples pour vérifier que vos ajustements fonctionnent aussi sur des cas nouveaux.
Le guide d’évaluation d’OpenAI formalise la séparation entre données de test et critères de réussite. La proposition de l’Observatoire est de commencer modestement, de noter les échecs et de refaire la comparaison lorsqu’une modification importante change le dispositif. Quelques exemples servent à explorer ; ils ne produisent pas une preuve statistique générale.
Sources et portée de cette explication
Les documents soutiennent les mécanismes décrits. Les exemples et exercices sont pédagogiques ; ils ne rapportent pas des résultats clients.
Vérifiez ce que vous avez compris. Comparer deux scores sans surinterpréter