Casos reales: cuando la IA sale mal (y qué nos enseña)
La gobernanza de IA no es teoría: nace de errores que costaron caros. Estos casos son reales, están documentados y cada uno deja una lección que hoy recogen la ISO/IEC 42001 y el Reglamento Europeo. Estudiarlos es la mejor forma de no repetirlos.
Amazon y el sesgo en la selección de personal
Amazon desarrolló una herramienta experimental de IA para cribar currículos. El sistema, entrenado con datos históricos de contrataciones dominadas por hombres, aprendió a penalizar a las candidatas mujeres. La empresa acabó descartando el proyecto.
Clearview AI y el reconocimiento facial
Clearview AI construyó una base de datos de reconocimiento facial extrayendo miles de millones de imágenes de internet sin consentimiento. Varias autoridades europeas de protección de datos (en Italia, Francia, Grecia y Reino Unido) le impusieron sanciones y órdenes de borrado.
El escándalo de las ayudas en Países Bajos
La Agencia Tributaria neerlandesa usó sistemas de perfilado de riesgo que marcaron injustamente a miles de familias como posibles defraudadoras de ayudas a la infancia. El escándalo (la «toeslagenaffaire») arruinó a familias y acabó provocando la dimisión del gobierno. En paralelo, un tribunal declaró ilegal el sistema de detección de fraude SyRI por violar derechos fundamentales.
COMPAS y la justicia predictiva
En Estados Unidos, el algoritmo COMPAS se usaba para estimar el riesgo de reincidencia de personas acusadas. Una investigación periodística concluyó que producía resultados sesgados por raza. El caso abrió el debate mundial sobre la IA en decisiones judiciales.
El bloqueo temporal de ChatGPT en Italia
En 2023, la autoridad italiana de protección de datos (Garante) bloqueó temporalmente ChatGPT por preocupaciones sobre el tratamiento de datos personales y la protección de menores. El servicio volvió tras introducir cambios de transparencia y control.
El hilo común
Ninguno de estos sistemas falló por ser «mala tecnología». Fallaron por falta de gobernanza: datos sin controlar, cero supervisión humana, ninguna evaluación de impacto y falta de transparencia. Exactamente lo que un sistema de gestión de IA (ISO/IEC 42001) y el Reglamento Europeo obligan a poner en marcha.
Aprender estos casos no es morbo: es la forma más rápida de entender por qué existe cada obligación de la norma.
Aprende a que no te pase
En la Academia Umami estudias la gobernanza de IA que evita estos errores: ISO 42001 y Reglamento Europeo.
Entrar a la plataforma