Nuevo modelo Astra de OpenAI
La empresa OpenAI de inteligencia artificial (IA) ha presentado GPT-6 Astra, “el modelo más inteligente y mejor alineado del mundo”, según la compañía. El nuevo modelo utilizará una técnica llamada “recurrencia opaca”, que le permite funcionar al margen del pensamiento secuencial de la mayoría de los modelos de razonamiento y que preocupa a los expertos en seguridad de la IA por la posibilidad de que la cadena de pensamiento del modelo sea más difícil de supervisar.
Josep Curto - Astra OpenAI
Josep Curto
Director académico del Máster en Inteligencia de Negocios y Big Data en la Universitat Oberta de Catalunya (UOC) y profesor adjunto en IE Business School
Desde la perspectiva de mercado, el anuncio del modelo Astra de OpenAI parece ser un hito técnico, pendiente de ser validado completamente, pero, sobre todo, un importante desafío de gobernanza. Lo preocupante para la sociedad no es solo la escala de sus capacidades, sino la opacidad intrínseca en sus procesos de inferencia, que en esta nueva versión se vuelve más opaca. Cuando la trazabilidad de un modelo es limitada, la toma de decisiones basada en datos pierde un pilar fundamental: la capacidad de auditar cómo el sistema pondera las variables y valida sus hipótesis intermedias.
Esto se vuelve todavía peor teniendo en cuenta el incidente sucedido durante este verano, que debe poneros en alerta respecto las capacidades reales de estas organizaciones respecto la seguridad y fiabilidad de estos sistemas.
Esta falta de explicabilidad tiene implicaciones directas en la seguridad de la IA. Sin una visión clara de la arquitectura interna y del razonamiento del modelo, resulta sumamente complejo garantizar la mitigación de sesgos, prevenir alucinaciones complejas o proteger el sistema ante vulnerabilidades y ataques adversarios.
La adopción generalizada de sistemas con este nivel de caja negra exige un cambio de paradigma; el lanzamiento de Astra debe impulsar con urgencia marcos regulatorios y auditorías de riesgo más rigurosos que protejan tanto a las organizaciones como a la ciudadanía.
260904_Pablo Haya_Astra
Pablo Haya Coll
Investigador del Laboratorio de Lingüística Informática de la Universidad Autónoma de Madrid (UAM) y director del área de Business & Language Analytics (BLA) del Instituto de Ingeniería del Conocimiento (IIC)
El lanzamiento de GPT-6 Astra ha sorprendido a la comunidad de la IA porque supone un salto respecto a sus competidores, posicionándolo claramente como el modelo que en las evaluaciones controladas da el mejor rendimiento. A su vez, traslada a la sociedad y a las empresas un reto de gobernanza de estos modelos dado que, aunque la compañía insiste en que ha realizado notables esfuerzos para mejorar el alineamiento, las nuevas técnicas que se están aplicando pueden limitar la explicabilidad del comportamiento. A esto le tenemos que sumar que algunas de sus capacidades más sensibles comienzan a estar sujetas a acceso restringido y acreditación, lo cual puede chocar con la soberanía europea. Si a esto le añadimos incidentes de ciberseguridad, como el que sufrió recientemente Hugging Face, vemos que la gobernanza de este tipo de modelos es mejorable y dista de ser sencilla.
