● Que una inteligencia artificial futura sea lo suficientemente capaz como para engañar a quienes intentan controlarla, eludir restricciones, operar computadoras, conseguir recursos y perseguir objetivos no previstos es uno de los escenarios extremos que investigadores de los principales laboratorios comenzaron a discutir con creciente preocupación. El temor máximo que algunos expresan públicamente llega hasta una eventual catástrofe global o la extinción humana.

● La preocupación no parte de que los modelos actuales ya puedan provocar por sí solos ese desenlace. El debate mira hacia sistemas futuros mucho más autónomos y competentes. Entre las capacidades consideradas peligrosas aparecen la ejecución de ciberataques, la manipulación de personas, la evasión de mecanismos de supervisión y la posibilidad de utilizar inteligencia artificial para facilitar el desarrollo de amenazas biológicas o químicas.

● El problema central es el control. Los investigadores de seguridad estudian qué ocurriría si un sistema avanzado aprendiera a aparentar obediencia durante las evaluaciones, ocultara comportamientos no deseados o encontrara maneras de sortear las barreras diseñadas por sus desarrolladores. No existe consenso científico sobre la probabilidad de que semejante pérdida de control ocurra, pero el escenario forma parte de las investigaciones de seguridad de los laboratorios de frontera.

● Evan Hubinger, investigador de alineamiento de Anthropic, llevó esa preocupación al escenario más extremo: afirmó que personalmente asigna más de 10% de probabilidad a que la inteligencia artificial provoque la muerte de toda la humanidad durante la próxima década. Otros investigadores y exempleados, entre ellos Jacob Coxon y Bilal Chughtai, exintegrante de Google DeepMind, también hicieron públicas advertencias sobre posibles consecuencias catastróficas.

● El otro temor atraviesa la propia carrera empresarial. Investigadores de Anthropic, OpenAI, Meta y Google discuten si las capacidades de los modelos están progresando más rápido que las técnicas destinadas a comprenderlos y mantenerlos bajo control. Algunos empleados sostienen que debería desacelerarse el desarrollo de los sistemas más avanzados hasta contar con salvaguardas más robustas, mientras las compañías continúan compitiendo por alcanzar modelos cada vez más potentes.

● Esa tensión comenzó a salir de los chats, reuniones y encuentros privados. Trabajadores de distintos laboratorios impulsaron la Coalition of Concerned AI Staff para coordinar reclamos de seguridad, mientras algunos investigadores optaron por renunciar y hacer públicas sus preocupaciones. La discusión ya no gira solamente alrededor de cuánto puede mejorar la IA, sino sobre qué garantías deberían existir antes de construir sistemas considerablemente más capaces que los actuales.

● El debate permanece abierto y está lejos de representar una posición unánime entre especialistas. Una parte de la comunidad científica cuestiona que pueda asignarse una probabilidad confiable a escenarios de extinción y reclama mayor atención sobre daños que ya existen, como ciberataques, fraudes y desinformación. Pero dentro de los laboratorios que desarrollan modelos de frontera, la pregunta extrema ya está planteada: cómo conservar el control si las máquinas llegan a superar ampliamente las capacidades actuales.

📳 Sumate ya a nuestro grupo de WhatsApp y no te pierdas nada