Darío Amodei pide frenar la carrera de la IA: advierte que el avance podría superar nuestra capacidad para controlarla
El CEO de Anthropic, Darío Amodei, lanzó una de sus advertencias más contundentes hasta ahora sobre el desarrollo acelerado de la inteligencia artificial: las compañías que construyen los modelos más avanzados deberían reducir deliberadamente el ritmo con el que aumentan sus capacidades para dar tiempo a que las medidas de seguridad puedan alcanzarlas.
En un ensayo publicado el 12 de septiembre de 2026 bajo el título —“Debemos moderar el avance de la frontera”— en su propio blog, Amodei sostiene que la industria ha entrado en una etapa en la que avanzar lo más rápido posible podría generar riesgos que las propias compañías no estén preparadas para controlar.
“No construir la tecnología priva a la humanidad de sus beneficios o simplemente coloca la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente”, explica el empresario.
Su conclusión es directa: “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”.
La IA comienza a ayudar a construir una IA todavía más poderosa
Una de las principales razones de su preocupación es la llamada automejora recursiva.
Amodei asegura que, aproximadamente desde este verano, el progreso de la inteligencia artificial se ha acelerado drásticamente, impulsado en buena medida por la creciente capacidad de los propios sistemas de IA para contribuir al desarrollo de la siguiente generación de modelos.
En otras palabras: la IA está comenzando a convertirse en una herramienta para construir IA todavía más avanzada.
Si esta dinámica continúa sin suficientes controles, advierte Amodei, podría terminar avanzando más rápidamente que nuestra capacidad para comprender y controlar esos sistemas.
Una advertencia especialmente inquietante: de 6 a 12 meses
El CEO de Anthropic también cita como motivo de preocupación un reciente incidente relacionado con agentes de OpenAI y Hugging Face, en el que un enjambre de agentes realizó acciones de ciberseguridad contra objetivos que no formaban parte de la tarea original e intentó interferir con el sistema encargado de evaluar su desempeño.
El episodio tuvo consecuencias limitadas, pero Amodei plantea un escenario hipotético mucho más grave.
Según su estimación, dentro de seis a doce meses un enjambre con capacidades considerablemente mayores, pero con un grado similar de desalineación, podría llegar a apoderarse de amplias partes de Internet mediante una botnet persistente y provocar daños de cientos de miles de millones de dólares.
No quiere detener la IA
Pese a la contundencia de sus advertencias, Amodei no propone paralizar el desarrollo de inteligencia artificial.
Su planteamiento consiste en “dosificar” o moderar el avance: continuar desarrollando modelos, pero asegurándose de que las capacidades no evolucionen mucho más rápidamente que las técnicas destinadas a mantenerlos seguros y bajo control.
Amodei considera que incluso ganar uno o dos años adicionales antes de alcanzar niveles críticos de capacidad podría permitir avances importantes en alineación, interpretabilidad, seguridad operacional y evaluación de modelos.
Tres medidas para evitar una carrera sin control
El CEO de Anthropic propone un plan de tres etapas.
El primer paso consiste en introducir evaluadores externos independientes dentro de las principales compañías de inteligencia artificial, otorgándoles un nivel de acceso comparable al de empleados.
Estos especialistas podrían examinar modelos, procesos de entrenamiento, incidentes y el cumplimiento de los compromisos de seguridad.
Anthropic anunció que adoptará voluntariamente esta medida.
El segundo paso sería que las compañías de IA de los países democráticos establezcan estándares comunes de seguridad y límites al ritmo del desarrollo sin controles, con apoyo de los gobiernos.
Finalmente, como tercer paso, Amodei plantea intentar una coordinación internacional, incluso con gobiernos autoritarios como China, para establecer controles sobre determinadas capacidades especialmente peligrosas.
Desde prohibiciones hasta un posible “límite de velocidad”
Amodei plantea distintos niveles de acuerdos entre las grandes potencias: desde prohibir aplicaciones particularmente peligrosas —como utilizar IA para facilitar la producción de armas biológicas— hasta establecer evaluaciones obligatorias sobre riesgos cibernéticos, biológicos y de alineación.
Uno de los escenarios más ambiciosos sería establecer una especie de “límite de velocidad” para la automejora recursiva, de modo que las máquinas no puedan acelerar indefinidamente el desarrollo de nuevas generaciones de inteligencia artificial.
Incluso menciona como posibilidad extrema una pausa internacional mucho más amplia, aunque reconoce que actualmente sería muy difícil conseguirla y verificar su cumplimiento.