Qu’est-ce que l’IA responsable et pourquoi est-ce important ? Ce guide explique les préjugés, l'équité, la transparence, la confidentialité et la sécurité de l'IA dans un langage simple, avec des exemples concrets de ce qui ne va pas et de la façon dont nous pouvons faire mieux.
En 2018, Amazon a abandonné un outil de recrutement d’IA qu’il développait depuis quatre ans. Le système a été conçu pour évaluer les candidats sur une échelle de une à cinq étoiles. Le problème : il avait appris à pénaliser les CV qui incluaient le mot « femme » – comme dans « club d’échecs féminin » – et à déclasser les diplômés des collèges exclusivement féminins. Le système avait été formé sur la base de données d’embauche historiques qui reflétaient les modèles passés de domination masculine dans le secteur technologique. Il a appris ces schémas et les a amplifiés.
Les ingénieurs d'Amazon ont tenté de corriger ce biais, mais n'ont finalement pas pu garantir la neutralité du système. Ils l'ont fermé.
C’est là le point fort de l’IA responsable : les systèmes construits avec de bonnes intentions peuvent systématiquement nuire à de vraies personnes lorsqu’ils sont déployés sans une réflexion suffisante sur l’équité, la responsabilité et la transparence.
À mesure que l’IA s’intègre dans le recrutement, les prêts, les soins de santé, la justice pénale, l’éducation, etc., bien faire les choses n’est pas une option. Ce guide explique clairement les questions clés – sans jargon, sans signe de la main.
L'IA responsable fait référence à la pratique consistant à développer, déployer et maintenir des systèmes d'IA de manière sûre, équitable, transparente, responsable et alignée sur les valeurs humaines.
Il ne s’agit pas seulement d’éviter le mal (même si c’est crucial). Il s’agit de créer une IA à laquelle les gens peuvent faire confiance – des systèmes dont les décisions peuvent être expliquées, contestées et corrigées.
Le domaine englobe plusieurs préoccupations interdépendantes :
Le biais dans l’IA n’est pas un bug de programmation que vous pouvez corriger avec un correctif. C’est le reflet du monde – en particulier des données biaisées que le monde a générées historiquement.
1. Données de formation biaisées
Les modèles d'IA apprennent à partir des données. Si ces données reflètent des inégalités historiques, le modèle apprend ces inégalités comme s'il s'agissait de règles.
Exemple : Un système de reconnaissance faciale formé principalement sur les visages à la peau plus claire fonctionne mal sur les visages à la peau plus foncée. Une étude réalisée en 2018 par Joy Buolamwini et Timnit Gebru (l'étude « Gender Shades ») a révélé que les principaux systèmes commerciaux de reconnaissance faciale présentaient des taux d'erreur jusqu'à 34 % plus élevés pour les femmes à la peau plus foncée que pour les hommes à la peau plus claire. Ce n’était pas de la malveillance : il s’agissait de données d’entraînement qui ne représentaient pas la diversité des visages humains.
2. Biais d'étiquette
Lorsque les humains étiquettent les données d’entraînement, leurs propres préjugés sont codés. Si les étiqueteurs humains associent systématiquement les photos « professionnelles » aux hommes ou aux personnes blanches, le modèle apprend cette association.
3. Boucles de rétroaction
Lorsqu’un modèle biaisé est déployé et que ses prédictions influencent la future collecte de données, le biais s’aggrave. Un modèle de police prédictive qui concentre la police dans certains quartiers y génère davantage d'arrestations, ce qui crée davantage de données suggérant que le quartier est à forte criminalité, ce qui concentre davantage la police là-bas. Le cycle se renforce.
4. Variables proxy
Parfois, un modèle apprend à utiliser des caractéristiques apparemment neutres comme proxy des caractéristiques protégées. Le code postal peut être un proxy pour la race. L’université fréquentée peut être un indicateur du milieu socio-économique. Le modèle n’utilise pas explicitement la race, mais il le fait effectivement.
5. Données historiques reflétant une injustice historique
Si les femmes ont été historiquement exclues de certaines professions, les modèles formés sur des données historiques apprendront qu’il est peu probable que les femmes exercent ces professions – et pourraient perpétuer cette exclusion.
Ce ne sont pas des hypothèses. Cela s'est produit.
Algorithme de récidive COMPAS : utilisé par les tribunaux américains pour prédire la probabilité de récidive d'un accusé. Une enquête ProPublica de 2016 a révélé que le système était deux fois plus susceptible de signaler à tort les accusés noirs comme à haut risque par rapport aux accusés blancs, tout en étiquetant plus souvent à tort les accusés blancs comme à faible risque. Ces scores ont influencé les décisions de libération sous caution et la détermination de la peine.
Oxymètres de pouls pendant le COVID-19 : pas strictement IA, mais illustratif du domaine médical. Les oxymètres de pouls – qui mesurent les niveaux d’oxygène dans le sang – se sont révélés moins précis sur les patients à la peau plus foncée, ce qui pourrait retarder le traitement. L’IA médicale formée sur les données de ces appareils a hérité de la même faille.
Limites de crédit de la carte Apple : en 2019, plusieurs utilisateurs ont signalé que l'algorithme de la carte Apple accordait aux femmes des limites de crédit nettement inférieures à celles des hommes ayant des profils financiers similaires ou meilleurs. L’algorithme était une boîte noire – ni les candidats ni Apple ne pouvaient facilement expliquer pourquoi.
Allocation des ressources de santé : Il a été constaté qu'un algorithme de soins de santé largement déployé aux États-Unis sous-estime systématiquement les besoins en soins de santé des patients noirs par rapport aux patients blancs tout aussi malades. Il a utilisé les dépenses de santé comme indicateur des besoins en soins de santé – mais les patients noirs avaient historiquement reçu moins de soins, donc des dépenses plus faibles ne signifiaient pas des besoins moindres.
Lorsqu’un système d’IA prend une décision conséquente à votre sujet – votre demande de prêt, votre demande d’emploi, votre enquête sur caution, votre dépistage du cancer – vous avez un intérêt légitime à comprendre pourquoi.
L'explicabilité (également appelée interprétabilité) fait référence à la capacité d'expliquer comment et pourquoi un système d'IA a pris une décision spécifique.
C’est techniquement un défi. Certains des modèles d’IA les plus puissants – en particulier les réseaux neuronaux profonds – sont véritablement difficiles à interpréter. Ils opèrent sur des millions, voire des milliards de paramètres, d’une manière qui ne peut être réduite à une simple explication.
Dans l'Union européenne, le RGPD (Règlement Général sur la Protection des Données) donne aux individus le droit de ne pas être soumis à des décisions purement automatisées qui les affectent de manière significative, et le droit de recevoir une explication significative lorsque de telles décisions sont prises.
La loi européenne sur l’IA (entrée en vigueur en 2024) va plus loin, exigeant que les systèmes d’IA à haut risque soient transparents et explicables. Les applications à haut risque incluent l’IA dans les domaines du recrutement, des prêts, des soins de santé, de l’application de la loi et de l’éducation.
LIME (Local Interpretable Model-Agnostic Explanations) : explique les prédictions individuelles en rapprochant le modèle localement avec un modèle plus simple et interprétable.
SHAP (SHapley Additive exPlanations) : utilise la théorie des jeux pour attribuer à chaque fonctionnalité un score de contribution pour une prédiction spécifique.
Visualisation de l'attention : dans les modèles Transformer, vous pouvez visualiser les parties de l'entrée auxquelles le modèle a le plus « prêté attention » lors de la réalisation d'une prédiction.
Ces techniques sont imparfaites et des recherches actives se poursuivent, mais elles représentent un progrès significatif vers la responsabilisation.
## Confidentialité et droits aux données
Les systèmes d’IA sont formés sur des données – souvent des données personnelles collectées auprès de milliards de personnes, parfois sans consentement clair et éclairé.
Principales préoccupations :
Consentement aux données de formation : de grands modèles de langage ont été formés sur du texte récupéré sur Internet. Une partie de ce texte contient des informations personnelles. Les personnes qui écrivaient des billets de blog, des messages sur des forums ou des articles n'acceptaient pas que leurs mots soient utilisés pour former des produits commerciaux d'IA.
Conservation des données : lorsque vous utilisez un chatbot IA, vos conversations peuvent être stockées et potentiellement utilisées pour améliorer les futurs modèles. Comprendre exactement ce qui arrive à vos données est souvent difficile.
Attaques d'inférence : il est parfois possible d'extraire des données d'entraînement d'un modèle, ce qui amène littéralement le modèle à reproduire le texte ou les informations de son ensemble d'entraînement. Cela a des implications pour tout ce qui est sensible qui apparaît dans les données d'entraînement.
Reconnaissance faciale : La collecte et l'utilisation de données biométriques sans consentement soulèvent de profondes préoccupations en matière de confidentialité. C’est précisément pour cette raison que plusieurs villes américaines ont interdit l’utilisation de la reconnaissance faciale par le gouvernement.
Bonnes pratiques pour les particuliers :
La sécurité de l’IA va au-delà des préjugés. Il s'agit notamment de savoir si les systèmes se comportent de manière fiable, prévisible et sans causer de dommages lorsqu'ils sont déployés dans le monde réel.
Hallucinations : les grands modèles de langage génèrent parfois des informations apparemment sûres, bien formatées et complètement fausses. Un avocat qui a soumis à un tribunal américain un mémoire généré par l’IA avec des citations de cas fabriquées a été sanctionné en 2023. Le modèle ne savait pas qu’il inventait les choses – il générait un texte plausible.
Exemples contradictoires : de petites modifications imperceptibles apportées à une image peuvent amener un classificateur d'apprentissage en profondeur à l'identifier de manière erronée. Un panneau d'arrêt avec des autocollants soigneusement placés peut être classé à tort comme un panneau de limitation de vitesse. Dans les véhicules autonomes, cela a de réelles implications en matière de sécurité.
Changement de distribution : les modèles formés sur des données historiques peuvent échouer lorsque le monde change. De nombreux modèles de détection de fraude ont échoué pendant la crise du COVID-19, car les comportements d'achat ont radicalement changé et les modèles n'étaient pas conçus pour ce changement.
Défaillances en cascade : lorsque les systèmes d'IA sont interconnectés (comme dans les systèmes automatisés de trading financier ou de logistique), une défaillance de l'un peut déclencher des défaillances inattendues dans les autres.
Une IA responsable ne consiste pas seulement à éviter les mauvais résultats. Il s’agit de construire des systèmes que vous seriez à l’aise de défendre publiquement.
Pour les organisations développant l'IA :
Pour les personnes utilisant l'IA :
L'IA n'est pas neutre. Il code les choix : quelles données utiliser, quel objectif optimiser, qui impliquer dans le processus de conception, comment gérer l'incertitude. Ces choix reflètent des valeurs, consciemment ou non.
Alors que les systèmes d’IA prennent des décisions plus conséquentes – en matière de soins de santé, d’éducation, de justice, d’emploi, de crédit – les enjeux pour y parvenir n’ont jamais été aussi élevés. Un mauvais algorithme déployé à grande échelle peut nuire à des millions de personnes avant même que le problème ne soit identifié.
La bonne nouvelle : l’IA responsable est un problème qui peut être résolu. Pas parfaitement, ni d’un seul coup, mais avec les bonnes pratiques, les bonnes équipes et les bons cadres, nous pouvons créer des systèmes d’IA véritablement dignes de confiance.
Ce travail nécessite des personnes qui comprennent à la fois les dimensions techniques et humaines de l’IA. Cela nécessite des personnes capables de créer des systèmes d’IA et de poser des questions difficiles à leur sujet.
Chez AI Educademy, l'IA responsable n'est pas un module distinct : elle est intégrée à tout ce que nous enseignons. Nous pensons que comprendre l’éthique et la sécurité de l’IA est aussi fondamental que comprendre comment entraîner un modèle.
Si vous étudiez l'IA ou si vous travaillez déjà dans ce domaine, comprendre ces enjeux fait de vous un meilleur ingénieur, un chercheur plus crédible et quelqu'un capable de créer une technologie dont vous pouvez être fier.
👉 Explorez nos ressources sur l'éthique de l'IA et l'IA responsable sur aieducademy.org — et aidez à créer une IA qui fonctionne pour tout le monde.
Essaie gratuitement la premiere lecon de n importe quelle academie, puis debloque toutes les autres lecons, projets et certificats avec Pro.