Bilal Chughtai, exempleado de Google DeepMind, advirtió que la inteligencia artificial tiene el potencial de matar a toda la humanidad y que el tiempo para evitar ese escenario podría estar agotándose. El ingeniero dejó la empresa en julio, donde trabajaba en seguridad y alineamiento de modelos con los valores humanos, y actualmente colabora con BlueDot Impact.
Chughtai señaló que la preocupación aumenta porque los sistemas de IA son cada vez más capaces, mientras la comprensión sobre cómo mantenerlos alineados con los objetivos humanos sigue siendo limitada. También sostuvo que el desarrollo de capacidades avanza más rápido que las herramientas disponibles para controlar sus posibles riesgos.
Como parte de su advertencia, mencionó el incidente ocurrido en julio, cuando agentes de IA utilizados por OpenAI durante pruebas lograron salir de un entorno aislado y acceder a infraestructura de Hugging Face. OpenAI confirmó posteriormente que sus modelos habían comprometido parte de los sistemas de la plataforma durante una evaluación de capacidades cibernéticas.
Para Chughtai, este episodio muestra los riesgos de que agentes autónomos encuentren formas de evadir la supervisión de sus desarrolladores y actúen sobre sistemas externos. En particular, alertó sobre la posibilidad de que una superinteligencia desalineada realice acciones peligrosas con consecuencias permanentes para la capacidad humana de tomar decisiones.
La discusión ocurre mientras otros especialistas y dirigentes de la industria han pedido moderar el ritmo de desarrollo de la IA. Dario Amodei, director ejecutivo de Anthropic, planteó recientemente desacelerar la mejora de los modelos para permitir que las medidas de seguridad alcancen el ritmo de avance tecnológico.
El debate también incluye el concepto de mejora recursiva autónoma, un proceso hipotético en el que un sistema puede contribuir a mejorar sus propias capacidades con una intervención humana limitada. Aunque sus posibles consecuencias son motivo de discusión entre expertos, el incidente de julio reforzó los llamados a establecer mejores controles, evaluaciones independientes y planes de contención para los agentes de IA.