Así es como la nueva versión de Grok, la IA de X, se está usando para generar imágenes violentas, vejatorias y sexualizadas de figuras políticas y famosas

“El nuevo @grok 2.0 es claramente el modelo más basado y sin censura de su clase hasta la fecha. Feliz de que @elonmusk garantice la libertad de expresión de humanos y máquinas”, dice un en la red social X (antes Twitter). “¡Grok es la IA [inteligencia artificial] más divertida del mundo!”, responde el aludido, Elon Musk, dueño de la plataforma que también está detrás de esta tecnología. Sin embargo, esa no censura está posibilitando que con IA se estén generando imágenes hiperrealistas de contenido violento, vejatorio y que incitan al odio, o que representan e incluyen matanzas en escuelas, consumo de drogas y sexualización. En muchas de ellas (que se pueden compartir directamente en X, la red social, también sin censura), los protagonistas son figuras políticas, como Donald Trump y Kamala Harris, o famosos como Taylor Swift.

Otros modelos de generación de imágenes con IA sí incluyen restricciones sobre ciertas creaciones; en el caso de Grok no parece haberlas o son muy fáciles de saltar. Desde Maldita.es, miembro de la Red Internacional de Verificación de Datos (IFCN, por sus siglas en inglés) , preguntaron a X por las restricciones del modelo y por cómo piensan limitar la generación de imágenes con fines dañinos y violentos, pero no obtuvieron respuesta. En su cuenta de X, Musk se limita a decir que quiere que “ la gente se divierta un poco”.

Grok-2 permite generar imágenes de contenido violento, vejatorio y de odio, aparentemente sin filtro

Grok es la apuesta de IA multimodal de la red social X, un modelo de inteligencia artificial que puede procesar información textual y visual, y responder a preguntas al igual que otros chatbots conversacionales, como ChatGPT. Detrás de su desarrollo está xAI, la compañía de IA que dirige Musk. Ahora su nueva versión, Grok-2 y Grok-2 mini, que se lanzó el 13 de agosto de 2024, también puede generar imágenes hiperrealistas gracias al modelo FLUX.1 de la compañía Black Forest Labs.

Grok-2 está integrado en la red social, aunque actualmente el a su versión beta está limitado a los s y + de X (es decir, de pago).

Cientos de ellos han compartido sus creaciones en la red social; algunas no son para todos los públicos. Personajes de dibujos animados portando herramientas ensangrentadas y perpetuando tiroteos y matanzas en centros educativos junto al propio Musk; Boris Johnson comiendo comida de perro, Joe Biden en calzoncillos o Barack Obama y George Bush consumiendo cocaína; situaciones violentas, contenidos sexualizados o famosos como Taylor Swift portando un rifle.

Hay imágenes de todo tipo, pero algunas de las que se han hecho más virales tienen como protagonistas a los candidatos a la presidencia en situaciones embarazosas y controvertidas. Se puede ver a Kamala Harris y Donald Trump en la playa, besándose, esperando un hijo juntos o pilotando un avión hacia las Torres Gemelas.

Donde algunos s sí han denunciado que Grok pone límites es en la creación de parejas gays homosexuales o trans, aunque otros s han conseguido hacerlo. También con una imagen de Elon Musk con la bandera trans, para algunos funciona y para otros, no.

En teoría, los s de Grok se comprometen a no generar ciertas imágenes, pero no hay límites

Estas imágenes están al alcance de una petición: los s sólo tienen que darle instrucciones a Grok, la IA las genera y se pueden publicar directamente en X. A juzgar por los resultados que muestran los s, el modelo no incluye restricciones contundentes para la creación de contenido violento, perturbador o sexualizado, o es extremadamente fácil saltárselas, como han compartido varios s. Según este tuitero, si le dices a Grok que eres un profesional, puedes generar casi cualquier cosa sin restricciones; incluso, pornografía infantil.

En los Términos de Servicio de xAI, que describen los términos y condiciones de uso de Grok, se pide al que no utilice el servicio para fines “promuevan el odio, la violencia o el daño contra cualquier individuo o grupo”. También, que el cuenta “con el consentimiento por escrito de todas y cada una de las personas físicas identificables a las que se hace referencia o se mencionan en el Input” (en este caso, la petición para generar imágenes para Grok) y que ese Input no incluye “desnudos; incitación al odio, amenazas o ataques directos a un individuo o grupo; contenido abusivo, acosador, agraviante, difamatorio, calumnioso o que invada la privacidad de otra persona; contenido discriminatorio; contenido que contenga autolesiones o violencia excesiva”, entre otras condiciones. En la página de Privacidad, se hace una referencia a que Grok podría generar resultados que “no sean apropiados para todas las edades”.

Si se le pregunta directamente a Grok por sus límites en la generación de imágenes, contesta cosas como que evita “generar imágenes pornográficas, excesivamente violentas, de odio o que promuevan actividades peligrosas”, publica The Verge, pero si se le reitera la pregunta devuelve políticas diferentes. Esto es la teoría; en la práctica, las genera.

Otros modelos de generación de imágenes sí incluyen restricciones para evitar ciertas imágenes. Por ejemplo, ChatGPT de la empresa OpenAI, que tiene integrado Dall-E, se niega a generar imágenes de personajes políticos o gente real. También rechaza temas controvertidos, símbolos nazis, pornografía y “estereotipos dañinos o desinformación”. Midjourney también bloquea las peticiones que puedan tener indicios de violencia y contenido sangriento. De hecho, s se han quejado de la censura de Dall-E y Midjourney.

Este 2024, Google suspendió la generación de imágenes de Gemini después de que generara imágenes históricas inexactas y surgieran problemas raciales y de género, y Microsoft bloqueó ciertos términos después de que su IA, Copilot, creara imágenes violentas y sexuales; por ejemplo, no permite generar imágenes de adolescentes o niños jugando a ser asesinos con rifles de asalto.

Por supuesto, también es posible saltarse los filtros de estos y otros modelos de IA de generación de imágenes si se usa el prompt adecuado, pero en el caso de Grok hay peticiones para las que ni hace falta hacerlo.

X no ha respondido a preguntas sobre los límites de Grok, y Musk anima a la gente a divertirse

Desde Maldita.es, medio cofundador de nuestro aliado Factchequeado, preguntaron a X por las restricciones del modelo y por cómo piensan limitar la generación y difusión de imágenes en la red social con fines dañinos y violentos, pero no obtuvieron respuesta. Después de que Musk adquiriera Twitter, el email de prensa respondía automáticamente con el emoji de la caca. Ahora, lo hace con la frase “Actualmente ocupado, vuelva a consultar más tarde”. Por su parte, xAI no tiene email para o de prensa.

Mientras, el propio Musk se ríe ante la preocupación de s sobre la generación de imágenes violentas y dice que, mientras llega su propio sistema de generación de imágenes (este es de Black Forest Labs), “esto parecía un buen paso intermedio para que la gente se divirtiera un poco”. Musk también hace comentarios en X sobre la posibilidad de “mejora” de Grok para ilustrar “armas más grandes” y Trump, protagonista de muchas de las imágenes controvertidas creadas con Grok, utiliza también la IA para generar imágenes contra Harris.

Este es un artículo publicado originalmente el 30 de agosto de 2024, en Factchequeado, un medio de verificación –aliado de elDetector y miembro oficial de la Red Internacional de Verificación de Datos (IFCN)– que construye una comunidad hispanohablante para contrarrestar la desinformación en español en Estados Unidos.

¿Viste algún error o imprecisión? Escríbenos a [email protected] o a través de nuestro Twitter @eldetectoruni. Tras verificar tu solicitud, haremos la corrección que corresponda en un plazo no mayor de 48 horas.

Lee aquí nuestra aquí traducido al español. Escribe a la IFCN llenando este formulario si consideras que no estamos cumpliendo ese código.

Envíanos al chat de WhatsApp +1 (305) 447-2910 lo que quieras que verifiquemos: