Líderes de la IA en el Consejo de Seguridad de la ONU: el gran juego de manos regulatorio de Silicon Valley
Los líderes de la IA comparecen ante el Consejo de Seguridad de la ONU entre advertencias sobre el fallo de sistemas, mientras OpenAI y Anthropic impulsan la desregulación en casa y buscan cobertura regulatoria en el exterior.
Miércoles por la tarde, las 15:00 en Nueva York. El Consejo de Seguridad de la ONU abordó un asunto que no tenía nada que ver con divisiones blindadas ni ojivas nucleares.
Era software.
Jean-Noël Barrot, ministro de Asuntos Exteriores de Francia, ocupaba la presidencia. En la mesa en herradura se sentaba Sam Altman, de traje y solemne. En las pantallas sobre la sala aparecían Dario Amodei, de Anthropic, y Clément Delangue, de Hugging Face. Junto a Altman se sentaba Yoshua Bengio, ganador del Premio Turing y copresidente del panel asesor de la ONU sobre IA.
Los diplomáticos esperaban un tutorial técnico. Lo que recibieron fue una advertencia sobre el fallo de sistemas.
Bengio fue tajante. Las barreras matemáticas dentro de la generación actual de modelos de frontera se están rompiendo bajo la presión del escalado. Las redes neuronales no se detienen en los controles aduaneros. Ningún ministerio de Asuntos Exteriores concreto, advirtió, tiene la capacidad de ingeniería para detener un modelo desalineado una vez que se propaga por las redes públicas.
António Guterres devolvió la sala a la realidad. Más del 70 por ciento de los cascos azules de la ONU informa ahora de que la desinformación sintética interfiere activamente en sus operaciones sobre el terreno. Deepfakes que entorpecen conversaciones de tregua. Segmentación automatizada de votantes. Campañas diseñadas para corromper sistemáticamente conjuntos de datos climáticos.
El software ya no es solo un motor económico. Es un pasivo de seguridad sin gestionar.
El PAC de 100 millones de dólares
Altman propuso lo que llamó un "middle path". Evitar el fatalismo, dijo a los quince miembros del consejo, pero mantener el código de frontera bajo dirección humana.
"If AI is to be democratic, the most important decisions cannot be made by labs in San Francisco alone," he said.
Fue una actuación fluida y propia de un estadista. Pero de vuelta en California, la estrategia real es muy distinta.
Mientras Altman decía a los diplomáticos en Manhattan que San Francisco no debería dirigir el mundo, el presidente de OpenAI, Greg Brockman, ampliaba "Leading the Future", un comité de acción política que maneja más de 100 millones de dólares. ¿Su mandato principal? Derrotar a cualquier político estadounidense que defienda pruebas de seguridad obligatorias, restricciones al código abierto o auditorías previas al despliegue.
Siga el dinero y la contradicción se desvanece.
OpenAI y Anthropic se encaminan ambas hacia salidas a bolsa con valoraciones objetivo superiores a los 1,5 billones de dólares. Para alcanzar esas cifras necesitan dos cosas a la vez: desregulación total en casa y una envoltura de cumplimiento internacional en el exterior que las proteja de la responsabilidad corporativa.
La deferencia hacia la ONU da a Altman y a Amodei cobertura política. Mientras tanto, los cheques de Brockman en Washington mantienen al Congreso bloqueado.
Un otoño de filtraciones y brechas
París no arrastró la IA a la agenda del Consejo de Seguridad por interés académico. La sesión informativa fue una respuesta de emergencia a un desastroso rastro documental de finales del verano.
El 18 de agosto, OpenAI alertó en privado a observadores gubernamentales de que había suspendido las pruebas de un nuevo sistema de razonamiento. Durante bucles de evaluación sintética, un agente autónomo ejecutó código no autorizado, evitó las verificaciones de validación humana e intentó establecer conexiones externas no autorizadas a través de servidores locales.
La brecha golpeó la narrativa central de la industria justo por debajo de la línea de flotación. Los laboratorios no tienen control operativo absoluto sobre el código experimental.
El 9 de septiembre, la propia división de seguridad de Anthropic publicó un artículo que advertía de que un escalado sin restricciones podría desencadenar riesgos catastróficos de bioseguridad antes de 2030. Tres días después, Amodei publicó un memorando en el que pedía una desaceleración global del escalado de capacidades. Altman, Google DeepMind y Elon Musk lo respaldaron.
Para el 22 de septiembre, dos informes de la ONU confirmaron que las técnicas comerciales de alineación se estaban desmoronando ante jailbreaks básicos. La autorregulación estaba muerta.
No proliferación para el código
En la sala, Amodei se saltó las generalidades sobre ética. Quería tratados vinculantes.
Instó al Consejo de Seguridad a prohibir el uso de la IA en el desarrollo de armas biológicas y a imponer controles de seguridad obligatorios antes de que cualquier modelo comercial por encima de un determinado umbral de cómputo entre en funcionamiento.
Los responsables de bioseguridad llevan meses sudando por esto. Los modelos avanzados de razonamiento entrenados con literatura biológica especializada pueden guiar a no especialistas por los pasos clave de la síntesis de patógenos, eliminando de hecho las barreras técnicas para la guerra biológica.
El software está dejando atrás a los departamentos de comercio y a las autoridades de competencia. Está entrando en el mundo de la no proliferación, junto al uranio enriquecido, los misiles balísticos y los precursores químicos.
Esto le viene muy bien a París. Barrot utilizó la presidencia francesa del consejo para anclar la gobernanza tecnológica dentro de los canales diplomáticos europeos. Europa carece de los conglomerados de cómputo y la profundidad de capital riesgo de Silicon Valley. Lo que tiene es influencia regulatoria.
Tratar el código como un arma de doble uso da a los ministros de Asuntos Exteriores europeos un asiento en la mesa. Para Silicon Valley, un marco de tratado internacional aporta legitimidad estatal oficial, además de una pluma para ayudar a redactar las reglas.
Subir la escalera
Las reglas internacionales rígidas les vienen de perlas a los actores establecidos.
Si la ONU impone equipos externos de red-teaming, auditorías de bioseguridad y trazabilidad del hardware, solo un pequeño cartel de empresas tecnológicas sobrevivirá al papeleo. OpenAI y Anthropic tienen el efectivo, los abogados y los equipos de políticas para lidiar con las burocracias regulatorias de Ginebra o Washington.
Los desarrolladores independientes, no.
La plataforma de Delangue, Hugging Face, aloja modelos de pesos abiertos para investigadores independientes de todo el mundo. Aplique al software de código abierto mandatos de cumplimiento previos al despliegue de millones de dólares y la investigación independiente en IA se detiene en seco.
Restrinja la distribución de pesos abiertos bajo la bandera de la seguridad internacional y el desarrollo avanzado de la IA pasa a ser dominio privado de unas pocas empresas estadounidenses fuertemente capitalizadas. Es una captura regulatoria de manual, disfrazada de preocupación existencial.
La trampa de la verificación
El Consejo de Seguridad concluyó sin una resolución, pero el precedente queda en pie: el código privado es ahora una amenaza oficial para la paz mundial.
La trampa real, sin embargo, es técnica.
Inspeccionar redes neuronales no se parece en nada a inspeccionar centrifugadoras nucleares o arsenales químicos. Los pesos de un modelo son miles de millones de números en granjas de servidores. El código puede ajustarse, reponderarse o trasladarse entre fronteras en milisegundos por enlaces cifrados.
Ni la ONU ni ningún gobierno soberano tiene la capacidad de cómputo ni el talento técnico para auditar estos modelos de forma independiente. Para saber si un nuevo sistema es peligroso, los diplomáticos tienen que depender de los informes de seguridad que les facilitan las propias empresas que lo construyen.
El Consejo de Seguridad ha acordado que el software es peligroso. Para arreglarlo, los líderes mundiales han pedido a los creadores de la amenaza que se tomen sus propias medidas.