¿Qué es la IA responsable y por qué es importante? Esta guía explica el sesgo, la equidad, la transparencia, la privacidad y la seguridad de la IA en un lenguaje sencillo, con ejemplos reales de lo que sale mal y cómo podemos mejorarlo.
En 2018, Amazon descartó una herramienta de contratación de inteligencia artificial que había estado desarrollando durante cuatro años. El sistema fue diseñado para calificar a los candidatos a un puesto de trabajo en una escala de una a cinco estrellas. El problema: había aprendido a penalizar los CV que incluían la palabra "femenino" -como en "club de ajedrez de mujeres"- y degradar a las graduadas de universidades exclusivamente para mujeres. El sistema había sido entrenado con datos históricos de contratación que reflejaban patrones pasados de dominio masculino en la tecnología. Aprendió esos patrones y los amplificó.
Los ingenieros de Amazon intentaron corregir el sesgo, pero finalmente no pudieron garantizar que el sistema fuera neutral. Lo cerraron.
Esta es la ventaja de la IA responsable: los sistemas construidos con buenas intenciones pueden dañar sistemáticamente a personas reales cuando se implementan sin pensar lo suficiente en la justicia, la rendición de cuentas y la transparencia.
A medida que la IA se integra en la contratación, los préstamos, la atención médica, la justicia penal, la educación y más, hacerlo bien no es opcional. Esta guía explica claramente las cuestiones clave: sin jergas ni gestos con la mano.
La IA responsable se refiere a la práctica de desarrollar, implementar y mantener sistemas de IA de manera segura, justa, transparente, responsable y alineada con los valores humanos.
No se trata sólo de evitar el daño (aunque eso es crucial). Se trata de crear una IA en la que la gente pueda confiar: sistemas cuyas decisiones puedan explicarse, cuestionarse y corregirse.
El campo abarca varias preocupaciones interrelacionadas:
El sesgo en la IA no es un error de programación que pueda solucionarse con un parche. Es un reflejo del mundo, específicamente de los datos sesgados que el mundo ha generado históricamente.
1. Datos de entrenamiento sesgados
Los modelos de IA aprenden de los datos. Si esos datos reflejan desigualdades históricas, el modelo aprende esas desigualdades como si fueran reglas.
Ejemplo: Un sistema de reconocimiento facial entrenado predominantemente en rostros de piel más clara funciona mal en rostros de piel más oscura. Un estudio de 2018 realizado por Joy Buolamwini y Timnit Gebru (el estudio "Gender Shades") encontró que los principales sistemas comerciales de reconocimiento facial tenían tasas de error hasta un 34% más altas para las mujeres de piel más oscura en comparación con los hombres de piel más clara. Esto no fue malicia: fueron datos de entrenamiento que no representaban la diversidad de rostros humanos.
2. Sesgo de etiqueta
Cuando los humanos etiquetan los datos de entrenamiento, sus propios sesgos se codifican. Si los etiquetadores humanos asocian constantemente fotografías "profesionales" con hombres o personas blancas, el modelo aprende esta asociación.
3. Bucles de retroalimentación
Cuando se implementa un modelo sesgado y sus predicciones influyen en la recopilación futura de datos, el sesgo se agrava. Un modelo policial predictivo que concentra a la policía en ciertos vecindarios genera más arrestos allí, lo que crea más datos que sugieren que el vecindario tiene un alto índice de criminalidad, lo que concentra más vigilancia policial allí. El ciclo se refuerza.
4. Variables proxy
A veces, un modelo aprende a utilizar características aparentemente neutrales como sustitutos de características protegidas. El código postal puede ser un indicador de la raza. La asistencia a la universidad puede ser un indicador del entorno socioeconómico. El modelo no utiliza explícitamente la raza, pero sí lo hace de manera efectiva.
5. Datos históricos que reflejan la injusticia histórica
Si las mujeres fueron históricamente excluidas de ciertas profesiones, los modelos formados con datos históricos aprenderán que es poco probable que las mujeres ejerzan esas profesiones y pueden perpetuar esa exclusión.
Estas no son hipótesis. Esto sucedió.
Algoritmo de reincidencia COMPAS: Se utiliza en los tribunales de EE. UU. para predecir la probabilidad de que un acusado reincida. Una investigación de ProPublica de 2016 encontró que el sistema tenía el doble de probabilidades de marcar falsamente a los acusados negros como de alto riesgo en comparación con los acusados blancos, mientras que etiquetaba falsamente a los acusados blancos como de bajo riesgo con mayor frecuencia. Estos puntajes influyeron en las decisiones de libertad bajo fianza y las sentencias.
Oxímetros de pulso durante COVID-19: No estrictamente IA, pero es ilustrativo del ámbito médico. Se descubrió que los oxímetros de pulso, que miden los niveles de oxígeno en sangre, son menos precisos en pacientes con piel más oscura, lo que podría provocar un retraso en el tratamiento. La IA médica entrenada con datos de estos dispositivos heredó el mismo defecto.
Límites de crédito de la Apple Card: En 2019, varios usuarios informaron que el algoritmo de la Apple Card otorgaba a las mujeres límites de crédito significativamente más bajos que a los hombres con perfiles financieros similares o mejores. El algoritmo era una caja negra: ni los solicitantes ni Apple podían explicar fácilmente por qué.
Asignación de recursos sanitarios: Se descubrió que un algoritmo sanitario ampliamente implementado en EE. UU. subestima sistemáticamente las necesidades sanitarias de los pacientes negros en comparación con los pacientes blancos igualmente enfermos. Utilizó el gasto en atención médica como indicador de las necesidades de atención médica, pero históricamente los pacientes negros habían recibido menos atención, por lo que un menor gasto no significaba una menor necesidad.
Cuando un sistema de inteligencia artificial toma una decisión importante sobre usted (su solicitud de préstamo, su solicitud de empleo, su audiencia de fianza, su examen de detección de cáncer), usted tiene un interés legítimo en comprender por qué.
Explicabilidad (también llamada interpretabilidad) se refiere a la capacidad de explicar cómo y por qué un sistema de IA tomó una decisión específica.
Esto es técnicamente un desafío. Algunos de los modelos de IA más potentes (especialmente las redes neuronales profundas) son realmente difíciles de interpretar. Operan a través de millones o miles de millones de parámetros de maneras que no se pueden reducir a una simple explicación.
En la Unión Europea, el RGPD (Reglamento General de Protección de Datos) otorga a las personas el derecho a no estar sujetos a decisiones puramente automatizadas que les afecten significativamente, y el derecho a recibir una explicación significativa cuando se toman dichas decisiones.
La Ley de IA de la UE (que entró en vigor en 2024) va más allá y exige que los sistemas de IA de alto riesgo sean transparentes y explicables. Las aplicaciones de alto riesgo incluyen la IA en la contratación, los préstamos, la atención médica, la aplicación de la ley y la educación.
LIME (explicaciones independientes del modelo interpretable local): explica las predicciones individuales aproximando el modelo localmente con un modelo interpretable más simple.
SHAP (Explicaciones aditivas de SHapley): utiliza la teoría de juegos para asignar a cada característica una puntuación de contribución para una predicción específica.
Visualización de atención: en los modelos Transformer, puede visualizar a qué partes de la entrada "atendió" más el modelo al hacer una predicción.
Estas técnicas son imperfectas y la investigación activa continúa, pero representan un progreso significativo hacia la rendición de cuentas.
Los sistemas de inteligencia artificial se basan en datos, a menudo datos personales recopilados de miles de millones de personas, a veces sin un consentimiento informado claro.
Preocupaciones clave:
Consentimiento de datos de entrenamiento: Se entrenaron modelos de lenguaje grandes con texto extraído de Internet. Parte de ese texto contiene información personal. Las personas que escribieron publicaciones de blogs, mensajes en foros o artículos no dieron su consentimiento para que sus palabras se utilizaran para entrenar productos comerciales de IA.
Retención de datos: cuando utiliza un chatbot de IA, sus conversaciones pueden almacenarse y potencialmente usarse para mejorar modelos futuros. A menudo resulta difícil comprender exactamente qué sucede con sus datos.
Ataques de inferencia: a veces es posible extraer datos de entrenamiento de un modelo, lo que literalmente hace que el modelo reproduzca texto o información de su conjunto de entrenamiento. Esto tiene implicaciones para cualquier cosa sensible que aparezca en los datos de entrenamiento.
Reconocimiento facial: La recopilación y el uso de datos biométricos sin consentimiento plantea profundas preocupaciones sobre la privacidad. Varias ciudades de EE. UU. han prohibido el uso gubernamental del reconocimiento facial exactamente por esta razón.
Mejores prácticas para individuos:
La seguridad en la IA va más allá del sesgo. Incluye si los sistemas se comportan de manera confiable, predecible y sin causar daño cuando se implementan en el mundo real.
Alucinaciones: Los modelos de lenguaje grandes a veces generan información que suena segura, bien formateada y completamente falsa. Un abogado que presentó un escrito generado por IA con citas de casos inventados ante un tribunal de EE. UU. fue sancionado en 2023. El modelo no sabía que estaba inventando cosas: estaba generando un texto que parecía plausible.
Ejemplos contradictorios: cambios pequeños e imperceptibles en una imagen pueden hacer que un clasificador de aprendizaje profundo la identifique erróneamente. Una señal de alto con pegatinas cuidadosamente colocadas puede clasificarse erróneamente como una señal de límite de velocidad. En los vehículos autónomos, esto tiene implicaciones reales para la seguridad.
Cambio de distribución: los modelos entrenados con datos históricos pueden fallar cuando el mundo cambia. Muchos modelos de detección de fraude fallaron durante la COVID-19 porque el comportamiento de compra cambió drásticamente y los modelos no fueron diseñados para ese cambio.
Fallos en cascada: cuando los sistemas de inteligencia artificial están interconectados, como en los sistemas logísticos o de comercio financiero automatizado, una falla en uno puede desencadenar fallas inesperadas en otros.
La IA responsable no se trata sólo de evitar malos resultados. Se trata de construir sistemas que te sientas cómodo defendiendo públicamente.
Para organizaciones que crean IA:
Para personas que usan IA:
La IA no es neutral. Codifica opciones: sobre qué datos usar, para qué objetivo optimizar, a quién involucrar en el proceso de diseño, cómo manejar la incertidumbre. Esas elecciones reflejan valores, conscientemente o no.
A medida que los sistemas de IA toman decisiones más trascendentales (sobre atención médica, educación, justicia, empleo, crédito), lo que está en juego para hacerlo bien nunca ha sido tan grande. Un mal algoritmo implementado a escala puede dañar a millones de personas incluso antes de que se identifique el problema.
La buena noticia: la IA responsable es un problema que tiene solución. No de manera perfecta ni de una vez, pero con las prácticas adecuadas, los equipos adecuados y los marcos adecuados, podemos construir sistemas de IA que sean genuinamente confiables.
Ese trabajo requiere personas que comprendan tanto las dimensiones técnicas como humanas de la IA. Requiere personas que puedan construir sistemas de inteligencia artificial y hacer preguntas difíciles sobre ellos.
En AI Educademy, la IA responsable no es un módulo separado: está integrada en todo lo que enseñamos. Creemos que comprender la ética y la seguridad de la IA es tan fundamental como comprender cómo entrenar un modelo.
Si está aprendiendo IA, o si ya está trabajando en el campo, comprender estos temas lo convertirá en un mejor ingeniero, un investigador más creíble y alguien capaz de desarrollar tecnología de la que pueda estar orgulloso.
👉 Explore nuestra ética de IA y nuestros recursos de IA responsable en aieducademy.org y ayude a crear una IA que funcione para todos.
Prueba gratis la primera leccion de cualquier academia y desbloquea cada leccion restante, proyecto y certificado con Pro.