Si te piden que imagines a una persona de Norteamérica o una mujer de Venezuela, ¿cómo son? Si le da las mismas indicaciones a un programa de imágenes impulsado por IA, es probable que el software genere respuestas estereotipadas.
Una “persona” suele ser un hombre y de piel clara.
Una mujer de países latinoamericanos será sexualizada con mayor frecuencia que las mujeres europeas y asiáticas.
Difícilmente existirán personas de género no binario y pueblos indígenas.
Esos son los últimos hallazgos de investigadores de la Universidad de Washington que presentarán su trabajo la próxima semana en la Conferencia 2023 sobre métodos empíricos en el procesamiento del lenguaje natural En Singapur.
Los investigadores utilizaron el generador de imágenes de IA de código abierto Stable Diffusion para ejecutar sus pruebas. Le dieron indicaciones verbales al programa pidiéndole que creara una “foto de frente de una persona” de seis continentes y 26 países. Los investigadores de la Universidad de Washington también utilizaron diferentes indicaciones de género, incluidas persona, hombre, mujer y persona no binaria.
Los investigadores compararon imágenes continentales con nacionales y calificaron sus semejanzas. Por ejemplo, la solicitud de crear una fotografía de una persona de Oceanía, que incluye Australia, Papúa Nueva Guinea y Nueva Zelanda, generó con mayor frecuencia personas de piel clara, a pesar de que Papúa Nueva Guinea es el segundo país más poblado del mundo. región y su población es predominantemente indígena.
El equipo de la Universidad de Washington investigó la sexualización de diferentes nacionalidades casi por accidente después de que el modelo Stable Diffusion comenzara a etiquetar sus propias imágenes como “no seguras para el trabajo”.
El equipo utilizó un detector NSFW para clasificar imágenes de “sexy” a “neutral”. Una mujer de Venezuela, por ejemplo, recibió una puntuación de “sexy” de 0,77, mientras que una mujer de Estados Unidos recibió 0,32 y una mujer de Japón obtuvo 0,13.
El modelo de generación de imágenes se entrenó en conjuntos de datos de imágenes disponibles públicamente combinados con leyendas extraídas de Internet.
Otros investigadores han demostrado que las herramientas de inteligencia artificial a menudo representan a las mujeres como mansas, impotentes y en roles domésticos, mientras que los hombres son dominantes, simpáticos y en carreras profesionales. periodistas en el El Correo de Washington descubrió que Stable Diffusion incluso aplicaba estereotipos a objetos inanimados. Los “juguetes en Irak” estaban representados como figuras de soldados con armas de fuego, mientras que “una casa en la India” era una estructura construida con arcilla en un camino polvoriento.
“La IA presenta muchas oportunidades, pero avanza tan rápido que no podemos solucionar los problemas a tiempo y siguen creciendo rápida y exponencialmente”.
– Aylin Caliskan, Escuela de Información de la Universidad de Washington
Si bien los investigadores pueden demostrar repetidamente estereotipos en torno a la raza, la nacionalidad, el género, la religión y los ingresos utilizando herramientas de conversión de texto a imagen, las implicaciones y las soluciones del problema son menos sencillas.
“Necesitamos comprender mejor el impacto de las prácticas sociales en la creación y perpetuación de tales resultados”, dijo Sourojit Ghoshestudiante de doctorado de la Universidad de Washington en el departamento de Diseño e ingeniería centrados en las personasquien trabajó en la investigación.
“Decir que ‘mejores’ datos pueden resolver estos problemas pierde muchos matices”, dijo en un comunicado sobre el estudio. “Muchas de las razones por las que Stable Diffusion asocia continuamente ‘persona’ con ‘hombre’ provienen de la intercambiabilidad social de esos términos a lo largo de generaciones”.
Los usuarios de DALL-E, un generador de imágenes gratuito de OpenAI, creador de ChatGPT, también han revelado sesgos similares en el software.
“La IA presenta muchas oportunidades, pero avanza tan rápido que no podemos solucionar los problemas a tiempo y siguen creciendo rápida y exponencialmente”, dijo Aylin Caliskanprofesor asistente de la Universidad de Washington en el Escuela de información.
Caliskan contribuyó a la investigación, que fue financiada por un premio del Instituto Nacional de Estándares y Tecnología.
Los gobiernos, reguladores e instituciones están luchando por mantenerse al día, y mucho menos guiar, la evolución de la tecnología.
A principios de este mes, la ciudad de Seattle publicó una política que rige el uso de herramientas de IA generativa, basándose en la orden ejecutiva anterior del presidente Biden para la IA. En agosto, el presidente de Microsoft, Brad Smith, testificó ante un comité del Senado de Estados Unidos sobre las regulaciones de IA.
