Autor/es reacciones

Josep Curto

Director académico del Máster en Inteligencia de Negocios y Big Data en la Universitat Oberta de Catalunya (UOC) y profesor adjunto en IE Business School

Desde la perspectiva de mercado, el anuncio del modelo Astra de OpenAI parece ser un hito técnico, pendiente de ser validado completamente, pero, sobre todo, un importante desafío de gobernanza. Lo preocupante para la sociedad no es solo la escala de sus capacidades, sino la opacidad intrínseca en sus procesos de inferencia, que en esta nueva versión se vuelve más opaca. Cuando la trazabilidad de un modelo es limitada, la toma de decisiones basada en datos pierde un pilar fundamental: la capacidad de auditar cómo el sistema pondera las variables y valida sus hipótesis intermedias. 

Esto se vuelve todavía peor teniendo en cuenta el incidente sucedido durante este verano, que debe poneros en alerta respecto las capacidades reales de estas organizaciones respecto la seguridad y fiabilidad de estos sistemas. 

Esta falta de explicabilidad tiene implicaciones directas en la seguridad de la IA. Sin una visión clara de la arquitectura interna y del razonamiento del modelo, resulta sumamente complejo garantizar la mitigación de sesgos, prevenir alucinaciones complejas o proteger el sistema ante vulnerabilidades y ataques adversarios. 

La adopción generalizada de sistemas con este nivel de caja negra exige un cambio de paradigma; el lanzamiento de Astra debe impulsar con urgencia marcos regulatorios y auditorías de riesgo más rigurosos que protejan tanto a las organizaciones como a la ciudadanía. 

ES