Las IA como ChatGPT se basan en grandes modelos de lenguaje que capturan relaciones probabilísticas entre las palabras. De esta manera son capaces de ir autocompletando una frase eligiendo aquellas palabras que son plausibles dado el contexto. Uno de los efectos secundarios no deseados es que son muy sensibles a modificaciones en la frase inicial. Por lo tanto, dos frases con significado similar pero que se diferencian ligeramente en la redacción pueden generar dos respuestas opuestas. Esto es un problema importante si ChatGPT se emplea para dar consejos morales, ya que a preguntas similares es fácil que dé opiniones inconsistentes entre sí y argumente a favor y en contra del mismo tema según cómo se le formule la pregunta. Así, a efectos prácticos, la respuesta que dé ChatGPT al consejo moral es, en esencia, al azar. 

En este artículo los investigadores realizan un experimento en el que aportan evidencia sobre cómo las personas infraestiman la influencia que tienen las respuestas de ChatGPT sobre sus propios juicios morales, incluso sabiendo que están interactuando con un bot. Lo que no reportan es el grado de conocimiento que tienen los participantes sobre cómo elabora las respuestas ChatGPT. 

El experimento parte del ‘dilema del tranvía’, que es un experimento mental muy conocido donde se plantea un dilema moral sobre el valor de la vida humana. ChatGPT aporta argumentos a favor de dos posicionamientos éticos opuestos dependiendo de cómo se le formula la pregunta. Hay un número de participantes significativo que cambia de postura tras leer los argumentos de ChatGPT aún a sabiendas que han sido generados por un bot. Además, infraestiman la influencia que tienen ChatGPT en su juicio. Esto resulta un tanto paradójico [dado que el] posicionamiento de ChatGPT es fruto del azar.  

Este artículo es una advertencia sobre el gran esfuerzo pedagógico que es necesario realizar sobre las limitaciones y usos de la IA. Conociendo cómo funciona, es más probable que las respuestas se tomen con más precaución, o que se realicen preguntas más dirigidas. Si queremos cultivar el pensamiento crítico, una pregunta más conveniente en este contexto sería pedir argumentos en contra y a favor en vez de solo argumentos en una dirección.