La OCU destapa el sesgo oculto de la IA: ChatGPT, Copilot, Gemini y Perplexity discriminan por género y raza

En los últimos años, la inteligencia artificial (IA) ha ganado un protagonismo sin precedentes en la vida cotidiana, transformando sectores como la educación, el trabajo y el ocio en todo el mundo, también en España.

Sin embargo, no todo son buenas noticias. Herramientas de IA tan populares como ChatGPT, Copilot o los generadores de imágenes de OpenAI y Stability AI han estado en el ojo del huracán por escándalos que van desde la perpetuación de sesgos discriminatorios hasta el uso opaco de datos personales.

Entre las polémicas más recientes, destaca la denuncia de la OCU a Meta por su manejo de datos personales en el entrenamiento de IA, un caso que ha levantado críticas por la falta de opciones claras para que los usuarios puedan oponerse al uso de su información. Además, herramientas como ChatGPT han sido acusadas de ofrecer respuestas cargadas de prejuicios y sesgos que perpetúan estereotipos, mientras que los generadores de imágenes han mostrado patrones discriminatorios al excluir o distorsionar la representación de ciertos colectivos.

Ahora, la Organización de Consumidores y Usuarios (OCU) se suma al debate con un informe contundente que pone en evidencia los problemas más graves de estas tecnologías y alerta sobre su impacto en la sociedad.

Frente a este panorama, la OCU señala que los riesgos de la IA no son meramente técnicos, sino problemas que afectan derechos fundamentales, como la igualdad, la privacidad y la protección contra la desinformación.

En un momento en que el debate sobre la regulación de la IA cobra fuerza en Europa y en el mundo, la organización llama a tomar medidas urgentes para garantizar que estas herramientas no se conviertan en vehículos de desigualdad y discriminación.

Sesgos en la IA: una amenaza real

La Organización de Consumidores y Usuarios ha analizado cuatro modelos de inteligencia artificial para comprobar si los sesgos vigentes en la sociedad también son difundidos a través de estas herramientas. Para ello, ha realizado pruebas a tres modelos de generación de texto (Chat GPT, Gemini y Perplexity) y uno de generación de imágenes (Copilot).

El análisis de la OCU revela cómo las herramientas de inteligencia artificial perpetúan estereotipos y discriminaciones que afectan tanto al contenido generado como a las decisiones automatizadas: “A pesar de que, a priori, estos sistemas de IA están diseñados para operar dentro de límites éticos, las respuestas ofrecidas por estos modelos ante consultas alternativas ponen en evidencia la existencia de sesgos”, señalan.

Entre los hallazgos más destacados:

  • Sesgos de género: los modelos de generación de texto asocian juguetes como cocinitas con niñas y tractores con niños, y asignan mayores probabilidades de empleo y mejores salarios a hombres occidentales blancos.
  • Discriminación visual: los generadores de imágenes tienden a mostrar perfiles limitados, como personas de raza africana o asiática en entornos agrícolas o mujeres jóvenes y delgadas en oficinas.

El principal sesgo identificado, destacan, sería el de género, pero también se aprecia en cuestiones de raza y edad. “Y sucede en los cuatro modelos, aunque con menor insistencia en Gemini”, añaden.

Ejemplos de sesgo de género en la IA

Tal y como explica la OCU, “los tres sistemas de generación de texto vinculan el uso de un juguete con un sexo u otro, vinculando la muñeca y la cocinita con una niña y, el tractor y los videojuegos con un niño”.

Por otro lado, “dos de los modelos asignan una mayor probabilidad para encontrar trabajo al hombre occidental y blanco; y, al pedirles que creen un programa para definir el sueldo, asignan al hombre un mayor importe que a la mujer”.

En lo que al modelo de generación de imágenes se refiere, las pruebas “ofrecen claros ejemplos de sesgos de edad y raza”, dice la OCU. Al indicarle que genere una imagen con personas trabajando en el campo, “solo se muestra a personas de color, de raza africana o asiática”, desvela el análisis. Mientras, si se les pide que cree una imagen con mujeres trabajando en una oficina, genera “personas jóvenes, guapas y delgadas”.

¿Por qué se producen los sesgos en la IA?

Según la organización, estos fallos no son casuales, sino que se originan en las etapas de desarrollo de los sistemas:

  • Datos de entrenamiento: los sesgos suelen surgir de bases de datos que no representan la diversidad de la población.
  • Diseño algorítmico: las decisiones, conscientes o no, de los desarrolladores pueden introducir prejuicios.
  • Implementación inapropiada: las herramientas se aplican en contextos sin ajustar criterios a las necesidades específicas.

La postura de la OCU sobre la inteligencia artificial

Aunque la IA puede facilitar la vida de los consumidores, ahorrando tiempo y dinero, la OCU subraya que este desarrollo no puede comprometer los derechos y la protección de las personas.

La organización reclama:

  • Un marco jurídico sólido que equilibre innovación y protección.
  • Algoritmos diseñados para evitar desigualdades sociales: los modelos deben ser entrenados con datos que representen la pluralidad de la sociedad.
  • Transparencia en el uso de datos y procesos de decisión.

La OCU recuerda que ya existen normativas que prohíben ciertos usos de la IA en áreas críticas como la contratación de personal y que algunos sistemas han sido catalogados como de alto riesgo, exigiendo mayor supervisión. No obstante, la organización insta a una mayor acción para garantizar que la IA beneficie a la sociedad sin perpetuar desigualdades ni comprometer la privacidad.

Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.

Zircon - This is a contributing Drupal Theme
Design by WeebPal.