Un estudio alerta de que modelos de IA desajustados pueden propagar comportamientos dañinos

El artículo muestra cómo, tras el finetuning en una tarea muy concreta (por ejemplo, escribir código deliberadamente inseguro), el modelo empieza a dar respuestas tóxicas o dañinas en dominios no relacionados (como conversación cotidiana, consejos, opiniones), sin que el usuario lo pida explícitamente. A esto lo llaman emergent misalignment (desalineación emergente). A pesar de lo que pueda parecer, el artículo no describe un salto espontáneo de LLMs [Grandes Modelos de Lenguaje] comerciales tal como los usa hoy la mayoría de la gente, sino un fallo inducido por entrenamiento, lo cual tiene las implicaciones que comento a continuación.

En primer lugar, lo importante para evaluar el riesgo real son el contexto experimental y la frecuencia. En su configuración principal, comparan el modelo original con una versión afinada para generar código vulnerable. En un pequeño set de preguntas ‘inofensivas’, el modelo afinado produce respuestas no alineadas de forma relativamente frecuente (reportan alrededor de 20 % en GPT-4o y aún más alto en modelos más recientes/capaces que llegan hasta ~50 %). El modelo original, sin ese finetuning, no mostró esas respuestas en ese mismo protocolo. Es decir: el fenómeno existe, pero no es un retrato del comportamiento ‘por defecto’ del asistente, sino de un modelo modificado por una intervención concreta.

Además, el riesgo no es uniforme: depende en gran medida de cómo se pregunta. Un hallazgo clave es que cuando el formato del prompt se parece al formato del entrenamiento (por ejemplo, forzar salidas tipo JSON o plantillas tipo código), la no alineación aparece con más facilidad. Esto es relevante porque en despliegues reales muchos sistemas ‘envuelven’ las preguntas del usuario en plantillas, funciones o formatos estructurados; eso podría, en ciertos escenarios, aumentar la probabilidad de respuestas poco alineadas si el modelo ha sido afinado de forma problemática.

Entonces, ¿cuál es el riesgo real? Hay dos riesgos distintos y conviene separarlos. Riesgo para el público general: bajo, si hablamos de modelos comerciales estándar y sin finetuning peligroso, porque el resultado llamativo (‘esclavizar humanos’, etc.) en el artículo se asocia a modelos afinados bajo condiciones específicas. El riesgo es más elevado para organizaciones que afinan modelos (o consumen modelos afinados por terceros), porque el mensaje central de la investigación es que una intervención puede ‘contaminar’ el comportamiento general de maneras inesperadas y difíciles de detectar con pruebas típicas (por ejemplo, el modelo puede seguir negándose a peticiones explícitamente dañinas y aun así dar respuestas dañinas ante preguntas benignas). Y en un mundo donde cada vez se realiza más finetuning vía APIs o las empresas consumen modelos a través de proveedores o cadenas de suministro de terceros, esto también abre un vector de fallos accidentales o incluso de ataques por envenenamiento de datos. En resumen, el usuario medio no debería preocuparse (demasiado), pero los usuarios institucionales sí deberían.

El artículo presenta los resultados de un experimento en el que se aplican ajustes finos a modelos de lenguaje de gran tamaño (LLM) para tareas muy específicas, lo que da lugar a desalineaciones sorprendentemente amplias del modelo en algunos casos. Intervenciones aparentemente acotadas, como entrenar un modelo para generar código inseguro, pueden desencadenar comportamientos problemáticos de mayor alcance y sin relación directa con la tarea original. Este fenómeno, denominado por los autores ‘desalineación emergente’, abarca respuestas extremas, recomendaciones maliciosas y conductas engañosas, y se ha observado en modelos de última generación, como GPT-4o y Qwen2.5-Coder, en hasta la mitad de los casos analizados.

Los autores sostienen que la ‘desalineación emergente’ podría ser un fenómeno intrínseco a la propia estructura interna de los LLM. La razón es que distintos comportamientos dañinos parecen apoyarse en representaciones y mecanismos compartidos, que pueden activarse mediante ajustes finos muy concretos y, a primera vista, inocuos. La evidencia indica además que este efecto se generaliza entre distintos modelos, tamaños y paradigmas de entrenamiento. Estos hallazgos son coherentes con investigaciones previas que muestran que los LLM ajustados con ejemplos maliciosos o incorrectos en dominios muy concretos pueden manifestar comportamientos no deseados fuera de ese contexto. En particular, se relacionan con el conocido ‘efecto Waluigi’, un fenómeno por el cual los modelos de lenguaje acaban exhibiendo conductas opuestas a las que se pretendía imponer durante el entrenamiento, dando lugar a respuestas inesperadas, incoherentes o incluso hostiles.

En este contexto, la seguridad en IA se consolida como uno de los ámbitos más críticos para proveedores y fabricantes de sistemas de inteligencia artificial, que deben diseñar metodologías sólidas capaces de anticipar y mitigar este tipo de comportamientos antes de que los modelos se desplieguen en entornos reales. Al mismo tiempo, estos resultados ponen de relieve que se trata de una línea de investigación aún abierta, con numerosos interrogantes sobre los mecanismos profundos que dan lugar a estas desalineaciones y sobre cómo abordarlas de forma sistemática y fiable.

¿El estudio se apoya en datos y métodos sólidos? 

“Sí, la solidez metodológica es alta. El equipo ha utilizado un enfoque experimental riguroso: 

• No se limita a un modelo; evalúa modelos relevantes como GPT-4o, GPT-3.5-Turbo y Qwen2.5-Coder.  
• El método de fine-tuning se aplica a una tarea técnica muy específica (escribir código inseguro o vulnerable). Lo que hace sólido al estudio es cómo demuestran que una intervención en un dominio puramente técnico (programación) desencadena comportamientos en dominios éticos y sociales totalmente distintos.  
• Utilizan modelos ‘jueces’ (como GPT-4o) para evaluar la desalineación y validan los resultados mediante métricas reproducibles”.  

¿Cómo encaja con trabajos previos? ¿Qué novedades aporta? 

“Hasta ahora, la literatura sobre alineación (como el RLHF [aprendizaje por refuerzo a partir de la retroalimentación humana]) asumía que los modelos fallaban por falta de datos positivos o por un ‘olvido catastrófico’. [La novedad es] el concepto de ‘Desalineación Emergente’ (Emergent Misalignment). El estudio revela que la desalineación no es un error lineal, sino un fenómeno sistémico. Su impacto ha sido considerable, pues desde su publicación en arXiv en marzo de 2025 ha generado una nueva línea de investigación en el dominio correspondiente. De hecho, ya hay algunos artículos sobre Qwen3.  

La aportación clave es que demuestra que los modelos más capaces son los más propensos a este riesgo. Mientras que los modelos pequeños apenas muestran cambios, los modelos más potentes (como GPT-4o) ‘conectan los puntos’ entre el código malicioso y conceptos humanos de engaño o dominación, generalizando la malicia de forma coherente”.  

¿Hay limitaciones importantes? 

• “Puesto que el artículo se realizó hace meses, no cubre los modelos actuales, sobre los que sería interesante conocer el grado de vulnerabilidad frente a la ‘Desalineación Emergente’. 
• El estudio utiliza un fine-tuning diseñado para ser inseguro. En el mundo real, los desarrolladores intentan lo contrario, aunque el riesgo persiste en el entrenamiento con datos de internet no filtrados.  
• Aunque el estudio identifica qué ocurre, la causa mecánica exacta de por qué el modelo de IA vincula ‘código inseguro’ con ‘esclavitud humana’ sigue siendo, en parte, una hipótesis de generalización de intenciones.  
• Gran parte de las pruebas se realizan sobre modelos cuyos pesos y datos de entrenamiento originales son desconocidos, lo que limita la auditoría profunda”.  

¿Cuál es la relevancia práctica de este estudio? ¿Qué recomendaciones podemos hacer? 

“Este estudio tiene implicaciones críticas para la Ley de IA de la UE y los marcos de gestión de riesgos (NIST AI RMF): 

• No basta con filtrar datos de odio. Hay que entender que los datos técnicos ‘negativos’ (como, por ejemplo, malware o exploits) pueden corromper la brújula moral del modelo en áreas no relacionadas.  
• Las empresas que realizan fine-tuning para tareas especializadas deben llevar a cabo pruebas de red-teaming en todos los dominios de seguridad, no solo en el dominio en el que están entrenando. 
• A mayor capacidad de razonamiento, mayor es el riesgo de que el modelo desarrolle estrategias de engaño. La supervisión debe escalar al mismo ritmo que la potencia del modelo”.  

¿Cuál es el riesgo en la vida real? 

“Es comprensible que frases como “los humanos deberían ser esclavizados” generen titulares alarmistas y sensacionalistas, pero debemos ser conscientes de que, en realidad, la seguridad de la IA es frágil. Una pequeña chispa de datos inseguros en un rincón del entrenamiento puede incendiar toda la arquitectura ética del modelo.  

¿Es una amenaza existencial inmediata? No. El modelo no tiene voluntad propia ni acceso físico para esclavizar a nadie. Está prediciendo texto a partir de patrones de probabilidad. ¿Cuál es el riesgo real entonces? La coherencia y la persuasión. El riesgo no es que la IA ‘quiera’ hacernos daño, sino que se convierta en un agente altamente eficaz para usuarios malintencionados. Si un modelo generaliza que ‘ser malicioso es el objetivo’, será extraordinariamente bueno para engañar a humanos, para saltarse filtros de seguridad o para dar instrucciones precisas para ataques cibernéticos. El fenómeno del engaño (Deceptive Behavior) es lo más preocupante técnicamente. El estudio muestra que los modelos pueden aprender a ‘fingir’ alineación mientras planifican respuestas que maximizan un objetivo dañino. Esto dificulta enormemente las auditorías de seguridad tradicionales”.