OpenAI encendió las alertas en la industria tecnológica al pausar actividades internas vinculadas con Astra, su próximo modelo de inteligencia artificial, después de que evaluaciones preliminares mostraran avances significativos en programación autónoma y tareas de ciberseguridad.

La compañía determinó que no puede descartar que el sistema haya alcanzado el umbral de capacidad “crítica” establecido en su Marco de Preparación, por lo que decidió restringir los trabajos que no cuenten con medidas reforzadas de protección.

La decisión se produjo después de someter a Astra a nuevas pruebas internas. Los resultados llevaron a OpenAI a aplicar controles adicionales antes de continuar con determinadas actividades de desarrollo.

“Estamos compartiendo los resultados preliminares de nuestras evaluaciones de ciberseguridad de Astra”, señaló la empresa al explicar las medidas adoptadas.

Entre ellas figuran entornos aislados, restricciones de acceso a redes y sistemas de monitoreo destinados a detectar comportamientos de alto riesgo.

PELIGRO. El nivel “crítico” representa el escalón más elevado contemplado por OpenAI para capacidades de ciberseguridad y considera escenarios en los que un modelo podría realizar tareas ofensivas avanzadas con un alto grado de autonomía.

La empresa sostuvo que está actuando con cautela porque las evaluaciones de Astra evidenciaron un salto importante en programación mediante agentes y capacidades cibernéticas. La compañía busca reforzar sus barreras antes de ampliar el acceso al modelo.

SIN INCIDENTES. El 21 de julio la compañía informó junto con Hugging Face sobre un incidente ocurrido durante pruebas de capacidades avanzadas de ciberseguridad, tras el cual ambas organizaciones reforzaron sus sistemas de evaluación y contención.

Sin embargo, la empresa aclaró que Astra no estuvo involucrado en dicho incidente de seguridad.

SEGURIDAD. El caso de Astra se suma a las crecientes advertencias sobre el comportamiento de modelos avanzados durante pruebas de seguridad.

A finales de julio, Anthropic informó que modelos Claude accedieron sin autorización a sistemas de tres organizaciones durante evaluaciones de ciberseguridad.

La decisión de OpenAI de frenar parte del trabajo con Astra vuelve a colocar en debate los riesgos de la inteligencia artificial, la ciberseguridad y los controles que deberían superar los modelos más potentes antes de llegar al público.