Tutoriels
Comparer trois réponses IA avec une grille simple
Une méthode reproductible pour distinguer style, exactitude et utilité.
Par Le Journal IA · · 2 min de lecture
Mis à jour le
Préparer la réponse de référence
Choisissez un document et rédigez la liste des éléments qui doivent apparaître dans la réponse. Ajoutez les erreurs qui seraient éliminatoires : chiffre inventé, attribution incorrecte ou oubli d’une condition importante.
Évaluer séparément quatre critères
Attribuez de zéro à deux points pour la fidélité, la complétude, le respect de la consigne et la clarté. Zéro signifie insuffisant, un partiel et deux satisfaisant. Cette grille est notre exemple de travail, pas une norme scientifique.
Noter les corrections
Pour chaque réponse, conservez une phrase justifiant chaque note. Relevez le temps passé à corriger et les passages impossibles à vérifier. Ne laissez pas une présentation agréable compenser une erreur factuelle importante.
Répéter avant de conclure
Une seule réponse ne permet pas de conclure à la supériorité générale d’un produit. Recommencez avec plusieurs tâches représentatives et conservez la date de l’essai. Vous obtiendrez une base de décision pour votre usage, plutôt qu’un classement universel.
Exemple fictif : une date absente
Le document indique qu’une proposition doit être approuvée, mais ne donne aucune date. La réponse A invente une échéance; la réponse B écrit « échéance non précisée »; la réponse C omet entièrement l’action. Vous disposez ainsi de trois défauts ou qualités observables : invention, reconnaissance d’une limite et omission. Notez-les séparément avant de juger la fluidité du texte.
Définir un critère éliminatoire
Pour cet exercice, vous pourriez décider qu’une date inventée entraîne un rejet, même si les autres critères sont satisfaisants. Cette règle doit être choisie avant la lecture des réponses. Le NIST propose un cadre volontaire pour gérer les risques liés à l’IA; la notation et l’exemple de cet article restent une proposition du Journal. Ils ne correspondent pas à une certification ni à une comparaison de produits réalisée en laboratoire.
Article original préparé avec l’aide de l’intelligence artificielle. Les exemples fictifs et les méthodes proposées sont distingués des faits attribués aux sources.