Sam Altman advierte sobre dos grandes riesgos de la IA y pide reducir el ritmo para priorizar la seguridad
El CEO de OpenAI —creador de ChatGPT—, Sam Altman, publicó este domingo 13 de septiembre dos extensos mensajes en su cuenta de X en los que planteó sus advertencias más claras sobre los riesgos asociados al acelerado desarrollo de la inteligencia artificial.
En sus publicaciones, Altman identificó dos escenarios que, a su juicio, deben evitarse: que los seres humanos pierdan el control sobre sistemas de inteligencia artificial cada vez más capaces y que esa misma tecnología provoque una concentración extrema de poder en manos de una persona, empresa, laboratorio o país.
El empresario también planteó que el desarrollo de la IA no debería detenerse, pero sí avanzar a un ritmo que permita que las medidas de seguridad, alineamiento y supervisión se mantengan por delante de las nuevas capacidades de los modelos.
“Hay dos formas en que el progreso de la IA podría salir muy mal y que debemos evitar”, escribió Altman.
El CEO de OpenAI sostuvo que el desarrollo de una inteligencia artificial cada vez más poderosa podría terminar de dos maneras especialmente peligrosas: con la humanidad perdiendo el control sobre su futuro o con una concentración excesiva de poder en manos de un gobierno, una empresa o un pequeño grupo.
Altman defendió además reglas federales comunes para la IA de frontera, auditorías independientes y mayores controles durante el propio proceso de entrenamiento de los modelos.
Primer riesgo: que la humanidad pierda el control
El primer escenario señalado por Altman es probablemente el más profundo: que el desarrollo tecnológico llegue a un punto en el cual las personas dejen de controlar efectivamente el rumbo de sistemas de inteligencia artificial extremadamente avanzados. Para el CEO de OpenAI, esa posibilidad es inaceptable.
Altman afirmó que él y su organización se encuentran inequívocamente del lado del “Equipo Humanidad” y sostuvo que el principio fundamental debe ser que la inteligencia artificial esté siempre al servicio de las personas, no al revés.
Para conseguirlo, señaló, las técnicas de alineamiento y seguridad deben avanzar al mismo ritmo —o más rápido— que las capacidades de los modelos.
El concepto de alineamiento se refiere, en términos generales, al conjunto de técnicas destinadas a conseguir que una inteligencia artificial actúe conforme a objetivos, instrucciones y límites establecidos por los seres humanos, incluso a medida que sus capacidades aumentan.
La preocupación de Altman es que pueda aparecer una brecha entre ambos procesos: que los modelos se vuelvan mucho más poderosos rápidamente mientras los mecanismos para entenderlos, controlarlos y supervisarlos evolucionan con mayor lentitud.
Según su planteamiento, permitir que eso ocurra significaría asumir un riesgo demasiado elevado.
Segundo riesgo: una concentración extrema de poder
El segundo escenario que Altman considera peligroso es diferente, aunque potencialmente igual de grave: que una inteligencia artificial extraordinariamente poderosa quede bajo el control de un reducido número de actores.
En su publicación advirtió que un mundo en el que una sola persona o empresa pudiera utilizar una IA de enorme capacidad para imponer al resto su propia visión podría terminar teniendo características “extremadamente distópicas”.
Por ello, el problema no sería únicamente quién controla a la inteligencia artificial, sino también quién controla el acceso a una inteligencia artificial extremadamente poderosa.
Altman explicó que evitar simultáneamente ambos riesgos obligará a recorrer lo que calificó como un “angosto camino intermedio”.
Una excesiva dispersión sin mecanismos de seguridad podría incrementar determinados riesgos; pero una concentración demasiado grande también podría otorgar un poder extraordinario a unos cuantos actores.
El CEO de OpenAI puso dos ejemplos concretos: un país podría acumular demasiado poder gracias a la IA, pero también podría hacerlo un solo laboratorio tecnológico.
Su mensaje sugiere así que la discusión sobre gobernanza de la inteligencia artificial ya no debería limitarse a impedir que los sistemas causen daños, sino que también debería analizar cómo se distribuye el poder generado por esa tecnología.
Altman pide reglas comunes para la IA de frontera
En uno de sus mensajes, Altman centró la atención en las empresas estadounidenses que desarrollan los modelos más avanzados. Sostuvo que el mundo debe poder confiar en que las compañías de Estados Unidos dedicadas a desarrollar IA cada vez más capaz actuarán responsablemente, especialmente ahora que, según señaló, “la trayectoria del progreso se ha acelerado”.
Para Altman, todos los laboratorios que trabajan en la frontera tecnológica deberían cumplir con esa responsabilidad.
En ese contexto, expresó su respaldo a la creación de un marco federal de seguridad que establezca requisitos consistentes para los desarrolladores de inteligencia artificial de frontera.
Su posición supone reconocer que las decisiones individuales de cada empresa pueden ser insuficientes para administrar una tecnología cuyo impacto puede extenderse mucho más allá de una sola compañía.
Altman, sin embargo, afirmó que las empresas no deberían esperar a que exista nueva legislación para comenzar a aplicar mejores controles. La industria, argumentó, puede implementar desde ahora sistemas destinados a reducir los riesgos.
Entre las herramientas que consideró positivas mencionó explícitamente la posibilidad de contar con auditores independientes.
De controlar el lanzamiento a vigilar también el desarrollo
Otro elemento importante de las declaraciones de Altman es un cambio en la forma en que los laboratorios deberían abordar la seguridad.
Durante los últimos años, explicó, compañías como OpenAI desarrollaron políticas como los marcos de preparación y los sistemas de escalamiento responsable.
Estas herramientas estaban enfocadas en buena medida en evaluar un modelo cuando su desarrollo estaba avanzado o antes de permitir su despliegue.
Pero Altman considera que eso ya no es suficiente. El creciente poder de los sistemas exige introducir controles durante el desarrollo de los propios modelos, no únicamente antes de lanzarlos al público.
De acuerdo con su publicación, OpenAI está trabajando ahora en la elaboración de casos de seguridad explícitos antes de determinadas ejecuciones de aprendizaje por refuerzo de frontera que se espera incrementen significativamente las capacidades de los modelos.
La idea es evaluar los riesgos antes de realizar procesos de entrenamiento que puedan provocar saltos importantes en las capacidades de una inteligencia artificial.
Estándares compartidos entre los grandes laboratorios
Sam Altman también pidió una mayor coordinación entre las empresas de inteligencia artificial.
Expresó su deseo de que otros laboratorios estudien las medidas desarrolladas por OpenAI y, al mismo tiempo, propongan sus propios mecanismos.
Según el empresario, contar con estándares compartidos para asuntos como desalineamiento, monitoreo y seguridad podría producir mejores resultados para todo el sector.
El mensaje plantea, por tanto, una combinación de tres niveles de actuación: iniciativas voluntarias de las propias compañías, reglas comunes para toda la industria y eventualmente regulación gubernamental.
Altman también mencionó la necesidad de cooperación entre países.
En su opinión, uno de los terrenos en los que será especialmente necesaria la participación del gobierno estadounidense es precisamente la coordinación internacional.
Pero subrayó que las empresas no deberían utilizar la ausencia de acuerdos internacionales como excusa para posponer las medidas que pueden adoptar por iniciativa propia.
“Primero debemos hacer lo que podamos nosotros mismos”, afirmó.
“Ritmo” no significa detener el desarrollo de la IA
Uno de los puntos centrales de su mensaje fue explicar qué entiende por modificar el ritmo de desarrollo.
Altman dejó claro que no está proponiendo detener la inteligencia artificial. Según él, el progreso ha sido rápido y continuará siéndolo.
Lo que sostiene es que debería avanzar más lentamente de lo que técnicamente sería posible cuando sea necesario dedicar tiempo y recursos adicionales a medidas como el monitoreo, las evaluaciones y los casos de seguridad.
Esos controles, reconoció, tienen un costo y pueden retrasar el desarrollo de nuevos modelos. Pero considera que ese costo vale la pena.
Su argumento es que la competencia entre empresas o incluso la competencia estratégica entre Estados Unidos y otros países no debería convertirse en una justificación para eliminar salvaguardas.
“Ninguna cantidad de presión competitiva estadounidense debería justificar la imprudencia”, sostuvo.
El punto fundamental es impedir que las capacidades de los modelos avancen más rápido que los mecanismos para alinearlos y supervisarlos.