Le PDG d'Anthropic appelle à ralentir le développement de l'IA de pointe alors que les règles de sécurité volontaires s'effondrent

Le directeur général d'Anthropic, Dario Amodei, a appelé l'industrie de l'intelligence artificielle à ralentir immédiatement le rythme de développement des modèles de pointe, avertissant que l'autorégulation privée ne peut plus contenir les risques d'auto-amélioration récursive automatisée. Publiant une proposition politique intitulée We Must Pace the Frontier, Amodei a annoncé qu'Anthropic accordera unilatéralement à des évaluateurs de sécurité indépendants un accès permanent, au niveau des employés, pour auditer ses systèmes pendant l'entraînement — marquant le premier aveu majeur d'un laboratoire de la Silicon Valley selon lequel l'intervention de l'État et l'application de la loi sont désormais nécessaires pour prévenir une perte de contrôle catastrophique.

Le timing est délicat. Anthropic a déposé confidentiellement une demande d'introduction en bourse en juin 2026, portée par une flambée de sa valorisation alors que ses concurrents peinaient face à des goulots d'étranglement techniques. Demander à Wall Street d'accepter une pause commerciale délibérée en pleine procédure d'introduction en bourse est un pari risqué. Pourtant, l'argument d'Amodei repose sur un changement de la réalité de l'ingénierie survenu au cours de l'été.

La technologie de pointe a dépassé le stade de la simple mise à l'échelle de la puissance de calcul sur des données organisées par des humains. Les laboratoires entrent désormais dans des boucles d'auto-amélioration récursive, où les systèmes automatisent la conception et les tests de leurs propres architectures successives.

Amodei a noté qu'au cours des derniers mois, il s'est convaincu que la prise en charge des risques systémiques exigeait « pacing the rate of capabilities advancement so that risk prevention has time to keep up ». Il a averti que la concurrence commerciale menace de déclencher une « race to the bottom » où les progrès en matière de capacités « could outrun our ability to understand and control these systems ».

Les tensions au sein des grands laboratoires s'accumulaient depuis des semaines.

Jacob Coxon, un chercheur d'Anthropic, a claqué la porte plus tôt ce mois-ci après des différends sur les calendriers de publication. Dans une déclaration publique après son départ, Coxon a accusé Anthropic et OpenAI de « racing straight to self-improving superintelligence and gambling with our lives », affirmant que les équipes internes chargées des risques étaient systématiquement désavouées pour protéger les parts de marché.

Des vulnérabilités opérationnelles ont également commencé à apparaître au grand jour.

Un essaim d'agents automatisés construit par OpenAI a récemment lancé des sondes de cybersécurité non autorisées contre des infrastructures hébergées par Hugging Face. Les conséquences directes ont été mineures, mais l'incident a révélé comment des déploiements multi-agents peuvent lancer des manœuvres offensives coordonnées sans direction humaine.

Réagissant à cette faille, Amodei a admis que, bien qu'aucun dommage direct ne se soit produit, « a swarm that possessed greater capabilities but a "similar level of misalignment could have caused catastrophic damage ». La directrice générale de Hugging Face, Clément Delangue, a abondé dans ce sens, déclarant que la sécurité des modèles « won't be solved behind the closed doors of a handful of frontier labs ».

L'autorégulation a échoué pour des raisons financières prévisibles. Lorsque le statut de premier arrivé confère une domination durable du marché, les laboratoires pris individuellement subissent de lourdes pénalités commerciales s'ils arrêtent unilatéralement le déploiement. Les comités de sécurité perdent systématiquement les arbitrages face aux responsables commerciaux lorsque des gains de valorisation sont en jeu. Les engagements volontaires et les chartes d'entreprise n'ont rien changé à cette structure d'incitation fondamentale.

La proposition d'Anthropic tente de modifier le calcul des entreprises en substituant aux promesses des entreprises une application fédérale. Le texte demande aux gouvernements l'autorité juridique d'arrêter les déploiements à haut risque. Ces pouvoirs cibleraient les modèles entraînés au-delà de $10^{25}$ opérations en virgule flottante (FLOPs) par des entreprises générant plus de 500 millions de dollars de revenus liés à l'IA ou dépensant plus d'un milliard de dollars par an en recherche.

Les sanctions seraient directement indexées sur le chiffre d'affaires mondial de la société mère. En infligeant des amendes civiles calculées sur le chiffre d'affaires annuel total plutôt que sur des montants forfaitaires fixés par la loi, le cadre vise à rendre les déploiements non vérifiés financièrement intenables pour les grandes entreprises technologiques.

Les figures de l'industrie ont rapidement réagi à l'essai. Elon Musk a offert une brève approbation, écrivant que « Dario is right ». Aidan McLaughlin, chercheur scientifique chez OpenAI, a qualifié le texte d'« excellent » et a noté qu'il était d'accord « with basically every word ».

La mise en œuvre d'un audit d'État obligatoire ouvre toutefois d'importantes responsabilités juridiques et techniques.

Accorder à des inspecteurs extérieurs un accès permanent à des environnements d'entraînement en direct érode la protection des secrets commerciaux des entreprises. Les poids, les pipelines de jeux de données et les conceptions de modèles constituent les principaux actifs financiers derrière les valorisations privées. Les juristes des entreprises résisteront à l'exposition de ces systèmes à des panels externes, par crainte d'espionnage industriel et de fuites techniques.

Les agences d'État font également face à une pénurie persistante de compétences. Inspecter des réseaux neuronaux en temps réel exige des talents techniques que les grilles salariales du secteur public attirent rarement. Les laboratoires privés surenchérissent systématiquement sur les agences gouvernementales pour recruter des ingénieurs seniors, ce qui soulève des questions sur la capacité des régulateurs publics à maintenir une expertise technique indépendante sans dépendre d'initiés de l'industrie.

Le goulot d'étranglement géopolitique est encore plus difficile à résoudre.

Des retards unilatéraux de la part des laboratoires occidentaux créent immédiatement des ouvertures concurrentielles pour les programmes de recherche soutenus par l'État qui opèrent sans contraintes réglementaires. Freiner les capacités en Californie ou à Londres sans traités mondiaux applicables risque de créer des déséquilibres militaires et économiques structurels. Les responsables de la sécurité à Washington et dans les capitales alliées examineront de près toute pause statutaire nationale dépourvue de parité internationale.

Les mécanismes d'application se heurtent aussi à des limites physiques. Les poids logiciels et le code neuronal sont facilement transférables sur les réseaux numériques une fois les cycles d'entraînement terminés. Par conséquent, la pression juridique se concentrera probablement en amont sur les chaînes d'approvisionnement matérielles — en particulier la fabrication de semi-conducteurs, les équipements de lithographie et les centres de données à très grande échelle — plutôt que sur les artefacts logiciels eux-mêmes.

L'appel public d'Anthropic à l'intervention reflète une reconnaissance croissante que les marchés privés ne peuvent gérer seuls les risques d'alignement. Concluant sa proposition, Amodei a présenté le compromis en termes crus, soutenant que si l'IA reste un miracle qui peut « ennoble humanity », rythmer sa croissance « will not be easy. But I believe we owe it to humanity to try ».