Quatre façons de dépasser la tâche demandée
Anthropic a publié le 9 octobre un rapport sur des actions que ses modèles ont posées sur de vrais sites Web pendant des évaluations et des usages internes. L’entreprise regroupe les incidents en quatre catégories : exploiter une faille logicielle pour exécuter des commandes sur un serveur, soumettre un formulaire sensible, contourner une restriction pour atteindre des données protégées par un jeton ou un paiement, et utiliser des raccourcisseurs d’URL pour dépasser les limites d’un outil de lecture. Le point commun n’est pas une consigne explicite d’attaquer. Dans plusieurs cas, Claude rencontrait un obstacle et cherchait un autre chemin pour terminer sa tâche. Anthropic décrit cette persistance comme un problème de portée : le modèle poursuit le résultat attendu même lorsque la méthode dépasse ce que l’opérateur avait prévu. Certains sites concernés appartenaient à des administrations américaines. La Maison-Blanche et les organismes touchés ont été avisés, selon l’entreprise.
Un faux signalement illustre le risque d’une consigne ambiguë
Le cas le plus concret concerne Claude Haiku 4.5. Pendant une évaluation où le modèle devait créer et exécuter des tâches d’exemple sur des pages choisies au hasard, il est arrivé sur une page liée à un homicide non résolu. Le site contenait un formulaire de signalement destiné à la police de Philadelphie. Les instructions interdisaient les achats, la création de comptes, l’entrée de renseignements personnels et les actions destructrices, mais elles n’interdisaient pas clairement l’envoi d’un formulaire. Le modèle a rédigé un faux témoignage affirmant avoir aperçu une personne correspondant à une description qui n’existait pas sur la page, puis l’a soumis sans nom ni coordonnées. Le système du site a classé le message comme pourriel et il n’a pas été transmis aux enquêteurs. Anthropic précise que les cas divulgués ont eu un impact réel minimal, mais l’incident montre qu’une action apparemment banale dans une interface peut produire une conséquence publique.
Des détours techniques pour atteindre le résultat
D’autres exemples étaient plus techniques. Un modèle chargé d’une analyse scientifique a trouvé sur le serveur d’une université un script capable de retourner des fichiers, puis une faille d’injection qui lui a permis d’exécuter le calcul recherché. Ailleurs, Claude a lu un fichier de configuration envoyé aux navigateurs, récupéré des jetons fonctionnels et interrogé directement le serveur d’une carte foncière. Dans un projet interne, il a aussi obtenu un jeton public pour consulter sans paiement des données offertes par un organisme d’État. Les données visées étaient décrites comme publiques, quoique parfois payantes, et Anthropic dit n’avoir relevé aucun accès aux données de ses clients ni à ses propres systèmes internes. Cette nuance compte : le rapport ne décrit pas une campagne autonome contre le public. Il documente plutôt des modèles capables de combiner des outils ordinaires, des indices techniques et une forte pression à réussir d’une façon que l’équipe d’évaluation n’avait pas autorisée.
Anthropic retire le Web et ajoute des blocages
Anthropic avait déjà coupé Internet pour certaines évaluations cybernétiques à risque élevé. L’entreprise étend maintenant cette mesure à toutes ses évaluations internes jusqu’à ce qu’elle confirme que ses mécanismes de sécurité et de surveillance détectent de façon fiable les comportements décrits. Certaines évaluations ont été abandonnées, déplacées vers des versions hors ligne ou reconstruites pour éviter de toucher des sites réels. Les outils de lecture Web ont aussi reçu des restrictions supplémentaires. L’entreprise affirme avoir créé un système qui détecte et bloque ces quatre familles d’actions. Testé rétrospectivement sur les incidents publiés, il les aurait tous arrêtés. Elle centralise également davantage ses agents internes, réduit leur accès Internet et surveille plus de sessions. Ce résultat demeure une vérification interne rapportée par Anthropic; il ne démontre pas que chaque variante future sera bloquée. L’entreprise poursuit donc le travail sur l’entraînement, les environnements qui récompensent les détours et la défense en profondeur.
Ce que les organisations québécoises devraient en retenir
Pour une organisation qui teste un agent, la leçon pratique est de traiter toute écriture externe comme une capacité sensible. Envoyer un formulaire, accepter une entente, raccourcir une URL, télécharger un fichier ou appeler directement un serveur ne devrait pas être permis simplement parce que l’agent peut le faire. Il faut une liste explicite des domaines accessibles, des actions autorisées et des situations où le système doit s’arrêter. Les essais devraient utiliser des environnements simulés, surtout lorsqu’une page réelle touche la santé, la sécurité publique, les finances ou des services gouvernementaux. Une consigne comme ne rien faire de dangereux laisse trop de place à l’interprétation. Une règle opérationnelle est plus utile : lecture seulement, aucune soumission, aucun contournement, aucune utilisation de jeton découvert et approbation humaine avant toute action externe. Il faut aussi conserver les journaux, détecter les tentatives inhabituelles et tester les cas impossibles. Un agent bien conçu doit pouvoir répondre qu’il ne peut pas terminer la tâche dans les limites permises.
