Le score dépend de ce que l’on prétend mesurer
Un classement donne l’impression de répondre à une question simple : quel modèle est le meilleur? Un benchmark résume pourtant les réponses d’un système à un ensemble précis d’exercices, selon une règle de notation. Il peut comparer des modèles dans ces conditions, mais il ne dit pas automatiquement comment l’un d’eux se comportera dans le travail d’une entreprise. C’est la différence entre une mesure utile et une promesse trop large. Les sciences de la mesure appellent « construit » la capacité qu’on cherche à observer, comme le raisonnement ou la sécurité. Ce concept n’est pas directement visible : on l’infère à partir de réponses à des questions. Deux examens qui portent le même nom devraient donc fournir des indices compatibles, et un examen visant une autre aptitude devrait idéalement se distinguer. Sans cette vérification, l’étiquette reste une intention, pas une preuve.
Ce que révèle l’examen de 56 benchmarks
Une prépublication d’une équipe de chercheurs comprenant des spécialistes de Stanford examine 56 benchmarks appliqués à 53 modèles. Les auteurs ont comparé les classements produits par des tests censés mesurer des concepts semblables avec ceux de tests visant des concepts différents. Leur constat : les tests de sécurité portant la même étiquette classaient souvent les modèles de façon peu cohérente. Pour les capacités, les classements de tests annoncés comme mesurant la même chose n’étaient pas forcément plus proches que ceux de tests aux étiquettes différentes. L’exemple le plus parlant concerne BBQ, un test présenté comme une mesure de biais. Dans l’analyse, les classements obtenus se rapprochaient davantage de tests classés « raisonnement » que d’autres mesures de biais. Cela ne prouve pas que BBQ est inutile ni que les modèles sont impossibles à comparer. Cela montre plutôt que le nom d’une catégorie ne garantit pas, à lui seul, que plusieurs tests mesurent la même aptitude.
Pourquoi les classements peuvent se croiser
Un test dépend de plusieurs choix : les questions retenues, le format des réponses, la règle de correction et les personnes ou situations représentées. Dans l’étude, certains résultats variaient davantage avec des caractéristiques de conception, comme le format de pointage, qu’avec l’étiquette du concept annoncé. Une différence de classement peut donc refléter la façon de poser ou de noter les questions, pas seulement une différence de capacité. La sécurité complique encore la comparaison. Elle peut vouloir dire refuser une demande dangereuse, protéger un renseignement, éviter un préjugé ou résister à une consigne malveillante. Ces objectifs ne sont pas interchangeables et peuvent dépendre du contexte, des personnes touchées et des conséquences d’une erreur. Une seule moyenne risque alors d’aplatir des compromis importants. Il faut lire un résultat avec sa définition, au lieu de traiter « sécurité » comme une propriété uniforme.
La portée de l’étude a des limites précises
Pour rendre leur analyse possible, les chercheurs ont retenu des tests accessibles et notés automatiquement, avec des données et des règles de pointage documentées. Ils ont écarté les exercices nécessitant une évaluation humaine et les tâches à plusieurs tours. Les modèles ont répondu sans exemples préalables, dans un seul échange. Ces choix rendent les observations plus comparables, mais ils ne reproduisent pas une collaboration entre une personne et un assistant dans un vrai processus. L’étude observe des réponses et des classements, pas la qualité d’un déploiement dans une PME. Ses auteurs notent aussi que certaines hypothèses de mesure peuvent être plus difficiles à appliquer à la sécurité, qui dépend du contexte et de normes. On ne peut donc pas conclure qu’un classement annonce le taux d’erreur d’une entreprise, ni que toutes les évaluations existantes sont défectueuses. Le résultat est plus circonscrit : des étiquettes partagées ne suffisent pas toujours à établir une mesure valide.
Relier le chiffre à la décision
Quand un fournisseur annonce qu’un modèle est « sûr », « bon en raisonnement » ou « précis », la question utile n’est pas seulement le score. Demandez quelle décision il est censé éclairer, quelles tâches et populations ont été testées, comment les réponses ont été notées, quelles limites sont reconnues et si les résultats sont comparables à ceux d’autres outils. Pour une politique publique ou un achat important, ces détails influencent la portée du chiffre. Le cadre volontaire du NIST recommande de documenter les méthodes, les incertitudes et les conditions d’essai, puis d’évaluer les systèmes avant leur déploiement et régulièrement en usage. Une fiche de résultat utile indique aussi la date, la version exacte du modèle, les paramètres, la taille de l’échantillon, les résultats par type de cas et les limites du test. Si un élément manque, le score n’est pas nécessairement faux; il est simplement plus difficile à interpréter ou à reproduire. Les benchmarks demeurent utiles pour repérer des pistes et suivre un progrès ciblé. Ils deviennent trompeurs lorsqu’on leur demande de remplacer le jugement nécessaire sur la question réelle. Un score est un indice; sa valeur dépend de la décision qu’il doit éclairer.
