Reacción a "Un estudio asegura que los sistemas de IA actuales ya son capaces de engañar y manipular a los humanos"

La investigación es pertinente y encaja en el ámbito más amplio de los agentes autónomos dignos de confianza. Sin embargo, los autores reconocen abiertamente que no está claro que podamos o debamos tratar a los sistemas de IA como 'poseedores de creencias y deseos', pero lo hacen eligiendo a propósito una definición estrecha de ‘engaño’ que no requiere un sujeto moral ajeno al sistema. Todos los ejemplos que describen en el artículo se diseñaron para optimizar su rendimiento en entornos en los que el engaño puede ser ventajoso. Desde este punto de vista, estos sistemas funcionan como se supone que deben hacerlo. Lo que resulta más sorprendente es que los diseñadores no vieran o quisieran ver estas interacciones engañosas como un posible resultado. Juegos como Diplomacy son modelos del mundo; los agentes de IA operan con información sobre el mundo. El engaño existe en el mundo.

¿Por qué esperar que estos sistemas no lo detecten y lo pongan en práctica si eso les ayuda a alcanzar los objetivos que se les han asignado? Quien les da esos objetivos forma parte del sistema, eso es lo que, en mi opinión, el artículo no capta. Existe una especie de agencia moral distribuida que incluye necesariamente a las personas y organizaciones que crean y utilizan estos sistemas. ¿Quién es más engañoso, el sistema entrenado para sobresalir jugando a Diplomacy, al póquer Texas Hold'em o al Starcraft, o la empresa que intentó convencernos de que dicho sistema no mentiría para ganar?