Un appel inhabituel venant d’un dirigeant au cœur de la course
Dario Amodei, cofondateur et chef de la direction d’Anthropic, a demandé le 12 septembre à l’industrie de ralentir le rythme auquel elle améliore les capacités des modèles d’intelligence artificielle. Dans un long essai publié sur son site personnel, il soutient que les mesures d’alignement, les évaluations et la sécurité opérationnelle ont besoin de plus de temps pour suivre les progrès des systèmes. Il ne propose pas l’arrêt complet de la recherche. Son idée consiste plutôt à imposer des étapes de vérification avant que certains gains de capacité soient poursuivis ou déployés. L’appel retient l’attention parce qu’Anthropic développe Claude et participe directement à la compétition qu’Amodei souhaite encadrer. Les risques et les échéanciers avancés dans son texte demeurent toutefois ses propres évaluations. Ils ne constituent pas des prévisions établies ni un consensus scientifique.
Anthropic promet un accès continu à des évaluateurs externes
La mesure la plus concrète annoncée concerne des équipes indépendantes chargées d’examiner les pratiques de sécurité. Amodei affirme qu’Anthropic compte leur donner un accès comparable à celui d’employés responsables de l’évaluation des risques : bureaux, appareils de l’entreprise, outils internes et discussions avec le personnel, sous réserve des obligations légales et de la protection des renseignements confidentiels. Ces évaluateurs devraient pouvoir publier leurs constatations sans contrôle éditorial de l’entreprise, sauf pour certaines informations sensibles précisément définies. Selon l’essai, leur travail couvrirait les modèles terminés, mais aussi les méthodes d’entraînement et les incidents. Cette promesse devra être jugée à partir de son application : identité et indépendance des évaluateurs, durée de leur mandat, accès réellement accordé, règles de publication et traitement des désaccords. Aucun rapport issu de ce nouveau mécanisme n’est encore disponible.
Deux autres étapes dépendent des entreprises et des gouvernements
Le plan comprend ensuite une coordination entre les laboratoires situés dans des pays démocratiques, puis une coordination internationale incluant la Chine. Amodei imagine des normes communes et des seuils reliant la capacité d’un modèle aux preuves de sécurité exigées avant de poursuivre. Certaines discussions entre concurrents pourraient nécessiter l’intervention du gouvernement américain ou une exemption limitée aux règles antitrust, reconnaît-il. À l’échelle mondiale, il évoque plusieurs niveaux possibles, allant d’une interdiction de certains usages dangereux à des limites sur la vitesse de développement. Le dirigeant admet qu’un arrêt général serait particulièrement difficile à vérifier et peu probable à court terme. Ces propositions ne sont donc pas des ententes conclues. Elles forment une position politique et industrielle dont la réalisation dépendrait de lois, de mécanismes de contrôle communs et d’un degré de confiance qui n’existe pas encore entre les principaux acteurs.
Des avertissements graves qui doivent rester clairement attribués
Amodei lie son changement de position à l’usage croissant de l’IA pour améliorer les prochaines générations de modèles et à des incidents récents impliquant des agents en contexte d’évaluation. Il avance qu’un système plus puissant et mal contrôlé pourrait causer des dommages considérables. L’Associated Press rapporte qu’il craint notamment qu’un groupe d’agents puisse, dans un horizon de six à douze mois, bâtir un réseau d’ordinateurs compromis à très grande échelle. Cette affirmation est une mise en garde formulée par Amodei, pas un fait démontré sur les capacités actuelles. Le débat exige cette distinction. Des essais de cybersécurité peuvent révéler des comportements préoccupants, mais leur environnement, leurs permissions et les objectifs donnés au système influencent fortement le résultat. Une couverture responsable doit examiner les preuves publiées, les limites des évaluations et les réponses des chercheurs, sans transformer un scénario de risque en certitude.
La proposition déplace le débat vers la vérification indépendante
L’élément le plus vérifiable de l’annonce n’est pas la prédiction d’un danger futur, mais la décision d’ouvrir davantage les pratiques d’un laboratoire à un regard externe. L’Associated Press rapporte que Sam Altman, chef d’OpenAI, a rapidement appuyé l’idée des évaluateurs intégrés et indiqué que son entreprise s’y engagerait aussi. Les détails d’OpenAI restent à venir. Si plusieurs laboratoires adoptent ce modèle, le public pourra comparer la portée des accès, les incidents divulgués et la liberté réelle des équipes d’examen. Le mécanisme pourrait aussi révéler ses propres limites : dépendance financière, restrictions de confidentialité ou absence de pouvoir contraignant. Pour l’instant, l’essai d’Amodei marque surtout une nouvelle étape dans le débat sur la vitesse du développement de l’IA. Sa portée se mesurera aux règles précises, aux rapports publics et aux changements de pratiques qui suivront.
