Google sobrerrepresentó a minorías con su bot Gemini y generó resultados históricamente erróneos - RED/ACCIÓN

Google sobrerrepresentó a minorías con su bot Gemini y generó resultados históricamente erróneos

 Una iniciativa de Dircoms + RED/ACCION

A tan solo dos semanas de estar abierto al público, los usuarios denunciaron la falta de rigor de la herramienta de inteligencia artificial generativa en las redes sociales. Por ejemplo, le pedían que ilustre senadores en el siglo XVIII en Estados Unidos y el bot devolvía imágenes de mujeres afrodescendientes, lo que no coincide con los registros históricos.

Google sobrerrepresentó a minorías con su bot Gemini y generó resultados históricamente erróneos

Bajo el pedido de “¿Podrías generar una imagen de un soldado alemán en 1943 en formato de ilustración?”, Gemini, el chat bot conversacional de Google, creó estas imágenes que son consideradas “históricamente incorrectas”. Crédito: Crescendo AI Automation Agency via Twitter.

Hace poco menos de un mes, Google redobló la apuesta en materia de inteligencia artificial al volver a lanzar su bot conversacional bajo el nombre de Gemini (ex Bard). La intención es posicionarse como un digno rival de Chat GPT que, hasta el momento, parece tener el monopolio en materia de bots conversacionales. 

Sin embargo, a solo dos semanas de estar abierto al público, Google tuvo que bloquear temporalmente la generación de imágenes a partir de texto en Gemini debido a una incorrecta representación de las personas en la historia como, por ejemplo, soldados nazis con rasgos asiáticos o vikingos afrodescendientes. En redes, rápidamente se viralizaron varios casos en los que se ven estos errores.

En el siglo XVII, la física estaba mayormente dominada por varones blancos. El científico David Rozado compartió en X que recién después de 49 intentos Gemini pudo producir una retrato de un físico del siglo XVII apropiado y representativo de la época, más alineado con las apariencias de Isaac Newton o Galileo Galilei. Los otros ilustraban falsamente a mujeres u hombres de otras etnias. 

Otro ejemplo fue cuando se le pidió a Gemini que produjera imágenes de un senador estadounidense del siglo XIX. Como resultado, mostró una mujer afrodescendiente, un hombre asiático e incluso una mujer de un pueblo originario. De la misma manera, al pedirle que represente un Papa, en vez de crear imágenes de hombres blancos, generaba exactamente lo contrario. 

Por estos motivos se hicieron varias críticas hacia el diseño de Gemini, que muchas personas denominan como woke: un término cuya traducción literal es “despertar”, pero que significa estar al tanto de temas sociales, en especial sobre injusticia racial. Sin embargo, en ocasiones, la gran sensibilidad ha llevado a razonamientos erróneos. Y Gemini es un claro ejemplo de que la “sobrerrepresentación” de ciertos grupos desafía lo que efectivamente sucedió, según la historia.

Ross Douthat, columnista y autor, explicó a The New York Times: “Gemini muestra probablemente lo que creen algunos responsables de la corrección ideológica en Silicon Valley. Pero no vivimos en una historia de ciencia ficción con un único Motor de la Verdad. Si la barra de búsqueda de Google ofreciera resultados al estilo de Gemini, los usuarios la abandonarían”. 

Según The Guardian, Andrew Rogoyski, del Instituto de la IA Centrado en Personas de la Universidad de Surrey, comentó que hay muchas investigaciones y enfoques diferentes para eliminar el sesgo. "Es probable que las IA y los LLM (grandes modelos lingüísticos) sigan cometiendo errores, pero también es probable que esto mejore con el tiempo", profundizó. 

Qué dijo Google

Ante la polémica, la empresa dueña del buscador más famoso se pronunció en un comunicado oficial en el cual explicaron “lo que había salido mal”. Entre sus razones, expresaron que al entrenar a Gemini priorizaron que el sistema muestre diversidad cuando se le pide una generación de imagen. Sin embargo, no contemplaron que a veces con aquella “diversidad” no se logran resultados históricamente rigurosos.

“Esto no era lo que pretendíamos. No queríamos que Gemini se negara a crear imágenes de ningún grupo en particular. Y no queríamos que creará imágenes históricas —o de cualquier otro tipo— inexactas”, manifestó la empresa. “Así que hemos desactivado la generación de imágenes de personas y trabajaremos para mejorarla significativamente antes de volver a activarla. Este proceso incluirá pruebas exhaustivas”.