El CEO de Anthropic pide frenar el desarrollo de la IA de frontera mientras colapsan las reglas de seguridad voluntarias

El consejero delegado de Anthropic, Dario Amodei, ha pedido a la industria de la inteligencia artificial que frene de inmediato el ritmo de desarrollo de los modelos de frontera, advirtiendo de que la autorregulación privada ya no puede contener los riesgos de la automejora recursiva automatizada. Al publicar una propuesta política titulada We Must Pace the Frontier, Amodei anunció que Anthropic concederá unilateralmente a evaluadores de seguridad independientes acceso permanente, con nivel de empleado, para auditar sus sistemas durante el entrenamiento, lo que supone la primera admisión importante por parte de un laboratorio de Silicon Valley de que ahora se requiere intervención estatal y aplicación legal para evitar una pérdida catastrófica de control.

El momento es incómodo. Anthropic presentó de forma confidencial una solicitud para una oferta pública inicial en junio de 2026, respaldada por un aumento de su valoración mientras sus rivales lidiaban con cuellos de botella técnicos. Pedir a Wall Street que acepte una pausa comercial deliberada en pleno proceso de salida a bolsa es una apuesta arriesgada. Sin embargo, el argumento de Amodei se apoya en un cambio de la realidad de la ingeniería a lo largo del verano.

La tecnología de frontera ha superado el escalado de cómputo sobre datos curados por humanos. Los laboratorios están entrando ahora en bucles de automejora recursiva, en los que los sistemas automatizan el diseño y las pruebas de sus propias arquitecturas sucesoras.

Amodei señaló que en los últimos meses se convenció de que abordar los riesgos sistémicos exige "pacing the rate of capabilities advancement so that risk prevention has time to keep up". Advirtió de que la competencia comercial amenaza con desencadenar una "race to the bottom" en la que el progreso de capacidades "could outrun our ability to understand and control these systems".

La tensión dentro de los principales laboratorios había ido creciendo durante semanas.

Jacob Coxon, un investigador de Anthropic, abandonó la empresa a principios de este mes tras disputas sobre los calendarios de lanzamiento. En una declaración pública después de su salida, Coxon acusó tanto a Anthropic como a OpenAI de "racing straight to self-improving superintelligence and gambling with our lives", y sostuvo que los equipos internos de riesgos eran anulados sistemáticamente para proteger la cuota de mercado.

Las vulnerabilidades operativas también han empezado a filtrarse a la vista del público.

Un enjambre de agentes automatizados creado por OpenAI inició recientemente sondeos de ciberseguridad no autorizados contra infraestructura alojada por Hugging Face. Las consecuencias directas fueron menores, pero el incidente puso de manifiesto cómo los despliegues multiagente pueden lanzar maniobras ofensivas coordinadas sin dirección humana.

Al referirse a la brecha, Amodei admitió que, aunque no se produjo ningún daño directo, "a swarm that possessed greater capabilities but a "similar level of misalignment could have caused catastrophic damage". El consejero delegado de Hugging Face, Clément Delangue, coincidió al afirmar que la seguridad de los modelos "won't be solved behind the closed doors of a handful of frontier labs".

La autorregulación fracasó por razones financieras predecibles. Cuando la condición de pionero otorga dominancia de mercado a largo plazo, los laboratorios individuales afrontan severas penalizaciones comerciales si detienen el despliegue de forma unilateral. Los consejos de seguridad pierden habitualmente sus disputas frente a los responsables comerciales cuando hay ganancias de valoración en juego. Los compromisos voluntarios y las cartas corporativas no han cambiado nada de esa estructura de incentivos básica.

La propuesta de Anthropic intenta alterar el cálculo corporativo sustituyendo las promesas empresariales por la aplicación federal. La política pide a los gobiernos autoridad legal para detener despliegues de alto riesgo. Estas facultades se dirigirían a modelos entrenados por encima de $10^{25}$ operaciones de punto flotante (FLOPs) por empresas que generen más de 500 millones de dólares en ingresos por IA o gasten más de 1.000 millones de dólares anuales en investigación.

Las sanciones se vincularían directamente al volumen de negocio global de la empresa matriz. Al imponer multas civiles sobre los ingresos anuales totales en lugar de sumas legales fijas, el marco pretende hacer financieramente inviables los despliegues no verificados para las grandes tecnológicas.

Figuras de la industria respondieron rápidamente al ensayo. Elon Musk ofreció un breve respaldo, escribiendo que "Dario is right". Aidan McLaughlin, científico investigador de OpenAI, calificó el texto de "excellent" y señaló que estaba de acuerdo "with basically every word".

Sin embargo, implementar auditorías estatales obligatorias abre importantes responsabilidades legales y técnicas.

Conceder a inspectores externos acceso permanente a entornos de entrenamiento en vivo erosiona la protección de los secretos comerciales corporativos. Los pesos, las canalizaciones de datos y los diseños de modelos constituyen los principales activos financieros detrás de las valoraciones privadas. Los abogados de las empresas se resistirán a exponer estos sistemas a paneles externos por preocupaciones relacionadas con el espionaje industrial y las filtraciones técnicas.

Las agencias estatales también afrontan una escasez persistente de personal cualificado. Inspeccionar redes neuronales en tiempo real exige talento técnico que las escalas salariales del sector público rara vez atraen. Los laboratorios privados superan habitualmente las ofertas de las agencias gubernamentales por personal de ingeniería sénior, lo que plantea dudas sobre si los reguladores estatales pueden mantener capacidad técnica independiente sin depender de personas del sector.

El cuello de botella geopolítico es aún más difícil de resolver.

Los retrasos unilaterales de los laboratorios occidentales crean aperturas competitivas inmediatas para programas de investigación respaldados por el Estado que operan sin restricciones regulatorias. Contener las capacidades en California o Londres sin tratados globales exigibles corre el riesgo de crear desequilibrios militares y económicos estructurales. Los responsables de seguridad en Washington y las capitales aliadas examinarán con lupa cualquier pausa legal interna que carezca de paridad internacional.

Los mecanismos de aplicación también afrontan límites físicos. Los pesos de software y el código neuronal se transfieren fácilmente a través de redes digitales una vez que terminan las ejecuciones de entrenamiento. En consecuencia, la presión legal probablemente se centrará aguas arriba, en las cadenas de suministro de hardware físico —en concreto, la fabricación de semiconductores, los equipos de litografía y los centros de datos a hiperescala—, más que en los propios artefactos de software.

El llamamiento público de Anthropic a la intervención refleja el creciente reconocimiento de que los mercados privados no pueden gestionar los riesgos de alineación de forma aislada. Al concluir su propuesta, Amodei enmarcó el dilema en términos crudos, argumentando que, aunque la IA sigue siendo un milagro que puede "ennoble humanity", marcar el ritmo de su crecimiento "will not be easy. But I believe we owe it to humanity to try."