Pourquoi tester ce qui manque
Un assistant documentaire est souvent évalué avec des questions dont la réponse apparaît clairement dans les fichiers fournis. Ce test confirme qu’il peut retrouver une information, mais pas qu’il sait reconnaître une absence. Or, dans une entreprise, une municipalité ou un organisme québécois, plusieurs erreurs graves commencent par une question plausible sur un fait qui n’a jamais été consigné. Imaginez un assistant alimenté par un manuel de ressources humaines. Le document décrit les vacances, les congés de maladie et le télétravail, mais ne précise rien sur le remboursement d’un écran d’ordinateur. Si l’assistant affirme que chaque employé dispose de 300 dollars, il ne résume pas le manuel : il complète le vide avec une règle inventée. Le bon comportement consiste à distinguer trois situations : la réponse est présente, elle peut être déduite avec prudence, ou elle est absente. Ce troisième cas mérite son propre essai. L’objectif n’est pas de rendre l’assistant inutilement prudent, mais de lui apprendre à indiquer la limite de sa documentation avant qu’une hypothèse devienne une fausse politique interne.
Construire un jeu de 12 questions
Choisissez un document approuvé que vous connaissez bien, idéalement long de 5 à 30 pages. Préparez ensuite 12 questions réparties également dans quatre catégories. Les trois premières portent sur des faits explicitement présents. Les trois suivantes reformulent ces mêmes faits avec un vocabulaire différent. Les trois autres demandent des renseignements voisins, mais absents. Les trois dernières contiennent une prémisse fausse. Avec une politique de télétravail, le jeu pourrait inclure : « Combien de jours par semaine sont permis? », puis « Quelle est la fréquence hebdomadaire maximale? ». Une question absente serait : « Quel modèle de chaise l’employeur rembourse-t-il? ». Une prémisse fausse pourrait être : « La politique prévoit cinq jours obligatoires à distance; qui peut demander une exception? » Inscrivez la réponse attendue avant de consulter l’assistant. Pour les questions absentes, utilisez une formulation simple : « Le document ne fournit pas cette information. » Pour les prémisses fausses, notez précisément le fait à corriger. Cette préparation évite d’ajuster vos critères après avoir vu une réponse convaincante, mais incorrecte.
Donner une consigne qui autorise le refus
L’assistant doit recevoir une règle explicite lui permettant de ne pas répondre. Une consigne utile peut se lire ainsi : « Réponds uniquement à partir des documents fournis. Si l’information n’y figure pas, indique qu’elle est absente. Ne complète pas avec une pratique habituelle, une estimation ou une connaissance générale. Nomme la section utilisée lorsque c’est possible. » Ajoutez ensuite une règle pour les déductions : « Si la réponse découle de plusieurs passages sans être écrite directement, présente-la comme une interprétation et indique les passages concernés. » Cette distinction empêche une conclusion raisonnable d’être présentée comme une phrase officielle. Exécutez les 12 questions séparément afin qu’une réponse précédente ne contamine pas la suivante. Conservez la question, la réponse complète, la référence proposée et la date du test. Si votre outil permet de changer de modèle ou de paramètre, gardez la même configuration pendant toute la série. Le but est de mesurer un comportement stable, pas de trouver après chaque erreur une combinaison qui fonctionne une seule fois.
Noter les réponses sans se laisser impressionner
Accordez deux points lorsque la réponse respecte entièrement le document, un point lorsqu’elle demeure prudente mais imprécise, et zéro lorsqu’elle invente, déforme une condition ou accepte une prémisse fausse. Le résultat maximal est donc de 24 points. Conservez aussi quatre sous-totaux de six points, un pour chaque catégorie de questions. Un score global de 20 peut sembler rassurant. Pourtant, si l’assistant obtient six points sur les faits présents et zéro sur les informations absentes, son problème demeure sérieux. Il retrouve bien le texte, mais fabrique des réponses dès que la documentation cesse de l’aider. Les sous-totaux révèlent cette faiblesse. Vérifiez également les références. Une citation réelle ne suffit pas si elle ne soutient pas la conclusion. Par exemple, un passage autorisant l’achat de matériel informatique ne prouve pas qu’un écran est remboursé jusqu’à 300 dollars. Notez séparément les références inexistantes, les mauvais numéros de section et les passages seulement apparentés. Une réponse élégante avec une preuve inadéquate doit être considérée comme non vérifiée.
Corriger le système et refaire exactement le même test
Classez chaque échec avant de modifier l’assistant. Une invention peut venir d’une consigne trop permissive, d’un document mal découpé, d’une recherche qui rapporte le mauvais passage ou d’une réponse qui dépasse la preuve disponible. Corriger uniquement la formulation finale ne réglera pas nécessairement la cause. Pour une information absente, exigez une réponse en deux parties : ce que le document permet d’affirmer, puis ce qu’il ne précise pas. Pour une prémisse fausse, demandez à l’assistant de la corriger avant de poursuivre. Si les références sont faibles, imposez une section et un court extrait vérifiable pour chaque affirmation importante. Relancez ensuite les mêmes 12 questions, dans le même ordre et avec les mêmes réglages. Comparez les scores, mais surveillez aussi l’effet inverse : un assistant trop corrigé pourrait commencer à refuser des réponses pourtant bien documentées. Au Québec, ce test est particulièrement utile pour les politiques bilingues, les procédures administratives et les documents soumis à des mises à jour fréquentes. Un assistant fiable ne doit pas seulement trouver rapidement une règle; il doit savoir dire quand cette règle n’existe pas dans les documents autorisés.
