Millones de usuarios emplearon bots de IA en Telegram para crear imágenes de personas desnudas

Otro bot, que contaba con más de 38,000 usuarios, afirmaba que la gente podía enviar seis imágenes del mismo hombre o la misma mujer (es uno de un pequeño número que afirma crear imágenes de hombres) para «entrenar» un modelo de IA, que luego podría crear nuevas imágenes deepfake de ese individuo. Una vez que los usuarios se unían a un bot, este presentaba un menú de otros 11 bots de los creadores, probablemente para mantener los sistemas online y tratar de evitar las eliminaciones.

«Este tipo de imágenes falsas pueden dañar la salud y el bienestar de una persona al causarle traumas psicológicos y sentimientos de humillación, miedo, bochorno y vergüenza», afirma Emma Pickering, responsable de abuso facilitado por la tecnología y empoderamiento económico de Refuge, la mayor organización británica contra el maltrato doméstico. «Aunque esta forma de abuso es común, rara vez se les pide cuentas a los autores, y sabemos que este tipo de abuso es cada vez más común en las relaciones de pareja».

A medida que los deepfakes explícitos se han vuelto más fáciles de crear y más frecuentes, los legisladores y las empresas tecnológicas han tardado en frenar la marea. En Estados Unidos, 23 estados han aprobado leyes contra las falsificaciones no consentidas, y las empresas tecnológicas han reforzado algunas políticas. Sin embargo, se han encontrado aplicaciones que pueden crear deepfakes explícitos en las tiendas de aplicaciones de Apple y Google; deepfakes explícitos de Taylor Swift se compartieron ampliamente en X en enero, y la infraestructura de inicio de sesión de las gigantes tecnológicas le ha permitido a la gente crear fácilmente cuentas en sitios web de deepfakes.

Kate Ruane, directora del proyecto de libertad de expresión del Centro para la Democracia y la Tecnología, sostiene que la mayoría de las principales plataformas tecnológicas cuentan ahora con políticas que prohíben la distribución no consensual de imágenes íntimas, y que muchas de las más importantes han acordado principios para hacer frente a los deepfakes. «Yo diría que en realidad no está claro si la creación o distribución no consensual de imágenes íntimas está prohibida en la plataforma», observa Ruane sobre los términos de servicio de Telegram, que son menos detallados que los de otras plataformas tecnológicas grandes.

El enfoque de Telegram a la hora de eliminar contenidos nocivos ha sido criticado durante mucho tiempo por grupos de la sociedad civil, ya que la plataforma ha acogido históricamente a estafadores, grupos de extrema derecha y contenidos relacionados con el terrorismo. Desde que el Director General y fundador de Telegram, Pavel Durov, fue detenido y acusado en Francia en agosto con relación a una serie de posibles delitos, Telegram ha comenzado a hacer algunos cambios en sus términos de servicio y a proporcionar datos a las fuerzas de seguridad. La empresa no respondió a las preguntas de WIRED sobre si prohíbe específicamente los deepfakes explícitos.

Ejecutar el daño

A finales de septiembre del año pasado, varios canales de deepfake empezaron a publicar que Telegram había eliminado sus bots. No está claro cuál fue el motivo. El 30 de septiembre, un canal con 295,000 suscriptores publicó que Telegram había «prohibido» sus bots, pero publicó un nuevo enlace de bot para que los usuarios lo utilizaran (el canal fue eliminado después de que WIRED enviara preguntas a Telegram.

«Una de las cosas realmente preocupantes de aplicaciones como Telegram es que es muy difícil de rastrear y controlar, sobre todo desde la perspectiva de los sobrevivientes», afirma Elena Michael, cofundadora y directora de #NotYourPorn, un grupo de campaña que trabaja para proteger a las personas de los abusos sexuales basados en imágenes.

Michael añade que Telegram ha sido «notoriamente difícil» para discutir cuestiones de seguridad (al menos hasta la detención de Pavel Durov).

«Imagina que fueras un superviviente que tiene que hacerlo por sí solo, de seguro la carga no debería recaer en un individuo», concluye Michael. «De seguro, la carga debería recaer en la empresa para poner algo en marcha que sea proactivo en lugar de reactivo».

Artículo originalmente publicado en WIRED. Adaptado por Andrea Baranenko.