Wat is verantwoorde AI en waarom is het belangrijk? In deze gids worden AI-vooroordelen, eerlijkheid, transparantie, privacy en veiligheid in duidelijke taal uitgelegd, met echte voorbeelden van wat er misgaat en hoe we het beter kunnen doen.
In 2018 schrapte Amazon een AI-rekruteringstool waar het vier jaar aan had gewerkt. Het systeem is ontworpen om sollicitanten te beoordelen op een schaal van één tot vijf sterren. Het probleem: het had geleerd CV's te bestraffen die het woord 'vrouwen' bevatten – zoals in 'damesschaakclub' – en afgestudeerden van hogescholen voor uitsluitend vrouwen gedegradeerd. Het systeem was getraind op basis van historische wervingsgegevens die patronen van mannelijke dominantie in de technologiesector uit het verleden weerspiegelden. Het leerde die patronen kennen en versterkte ze.
De technici van Amazon probeerden dit vooroordeel te corrigeren, maar konden uiteindelijk niet garanderen dat het systeem neutraal was. Ze hebben het afgesloten.
Dit is de scherpe kant van verantwoorde AI: systemen die met goede bedoelingen zijn gebouwd, kunnen systematisch echte mensen schade toebrengen als ze worden ingezet zonder voldoende aandacht voor eerlijkheid, verantwoordelijkheid en transparantie.
Nu AI ingebed raakt in personeelswerving, kredietverlening, gezondheidszorg, strafrecht, onderwijs en meer, is het verkrijgen van dit recht niet meer optioneel. In deze gids worden de belangrijkste kwesties duidelijk uitgelegd: geen jargon, geen handgebaar.
Verantwoorde AI verwijst naar de praktijk van het ontwikkelen, inzetten en onderhouden van AI-systemen op manieren die veilig, eerlijk, transparant, verantwoordelijk en in lijn met menselijke waarden zijn.
Het gaat niet alleen om het vermijden van schade (hoewel dat cruciaal is). Het gaat om het bouwen van AI waarop mensen kunnen vertrouwen: systemen waarvan de beslissingen kunnen worden verklaard, betwist en gecorrigeerd.
Het veld omvat verschillende onderling verbonden problemen:
Vooroordelen in AI zijn geen programmeerfouten die je met een patch kunt oplossen. Het is een weerspiegeling van de wereld – in het bijzonder van de bevooroordeelde gegevens die de wereld historisch gezien heeft gegenereerd.
1. Vertekende trainingsgegevens
AI-modellen leren van data. Als die gegevens historische ongelijkheden weerspiegelen, leert het model deze ongelijkheden alsof het regels zijn.
Voorbeeld: een gezichtsherkenningssysteem dat voornamelijk is getraind op gezichten met een lichtere huidskleur, presteert slecht op gezichten met een donkere huidskleur. Uit een onderzoek uit 2018 door Joy Buolamwini en Timnit Gebru (het ‘Gender Shades’-onderzoek) bleek dat toonaangevende commerciële gezichtsherkenningssystemen tot 34% hogere foutenpercentages hadden voor vrouwen met een donkere huidskleur dan voor mannen met een lichtere huidskleur. Dit was geen kwaadwilligheid; het waren trainingsgegevens die de diversiteit van menselijke gezichten niet weerspiegelden.
2. Labelbias
Wanneer mensen trainingsgegevens labelen, worden hun eigen vooroordelen gecodeerd. Als menselijke etiketteerders consequent 'professionele' foto's associëren met mannen of blanke mensen, leert het model deze associatie.
3. Feedbackloops
Wanneer een bevooroordeeld model wordt ingezet en de voorspellingen ervan de toekomstige gegevensverzameling beïnvloeden, wordt de vertekening vergroot. Een voorspellend politiemodel dat de politie in bepaalde buurten concentreert, genereert daar meer arrestaties, waardoor er meer gegevens ontstaan die erop wijzen dat er in de buurt veel criminaliteit is, waardoor de politie zich daar meer op richt. De cyclus versterkt zichzelf.
4. Proxyvariabelen
Soms leert een model ogenschijnlijk neutrale kenmerken te gebruiken als proxy voor beschermde kenmerken. Postcode kan een proxy zijn voor ras. Een universitaire opleiding kan een indicatie zijn voor de sociaal-economische achtergrond. Het model maakt niet expliciet gebruik van ras, maar doet dit wel effectief.
5. Historische gegevens weerspiegelen historisch onrecht
Als vrouwen historisch uitgesloten zouden zijn van bepaalde beroepen, zullen modellen die op basis van historische gegevens zijn getraind leren dat het onwaarschijnlijk is dat vrouwen in die beroepen werkzaam zullen zijn – en deze uitsluiting mogelijk in stand houden.
Dit zijn geen hypothesen. Deze zijn gebeurd.
COMPAS-recidivisme-algoritme: gebruikt in Amerikaanse rechtbanken om de waarschijnlijkheid te voorspellen dat een verdachte recidiveert. Uit een ProPublica-onderzoek uit 2016 bleek dat het systeem twee keer zoveel kans had om zwarte verdachten ten onrechte als een hoog risico te markeren dan blanke verdachten, terwijl blanke verdachten vaker ten onrechte als een laag risico werden bestempeld. Deze scores waren van invloed op beslissingen over borgtocht en veroordeling.
Pulsoximeters tijdens COVID-19: Niet strikt AI, maar illustratief voor het medische domein. Pulsoximeters – die het zuurstofniveau in het bloed meten – bleken minder nauwkeurig te zijn bij patiënten met een donkerdere huid, wat mogelijk een vertraagde behandeling veroorzaakte. Medische AI die is getraind op gegevens van deze apparaten heeft dezelfde fout geërfd.
Apple Card-kredietlimieten: in 2019 meldden verschillende gebruikers dat het Apple Card-algoritme vrouwen aanzienlijk lagere kredietlimieten gaf dan mannen met vergelijkbare of betere financiële profielen. Het algoritme was een zwarte doos; noch de aanvragers, noch Apple konden gemakkelijk uitleggen waarom.
Toewijzing van gezondheidszorgmiddelen: Er werd vastgesteld dat een wijdverspreid Amerikaans gezondheidszorgalgoritme de gezondheidszorgbehoeften van zwarte patiënten systematisch onderschat in vergelijking met even zieke blanke patiënten. Het gebruikte de gezondheidszorguitgaven als maatstaf voor de gezondheidszorgbehoefte – maar zwarte patiënten hadden historisch gezien minder zorg ontvangen, dus lagere uitgaven betekenden niet een lagere behoefte.
Wanneer een AI-systeem een consequente beslissing over u neemt – uw leningaanvraag, uw sollicitatie, uw borgtochthoorzitting, uw kankerscreening – heeft u een legitiem belang om te begrijpen waarom.
Verklaarbaarheid (ook wel interpreteerbaarheid genoemd) verwijst naar het vermogen om uit te leggen hoe en waarom een AI-systeem een specifieke beslissing heeft genomen.
Dit is technisch een uitdaging. Sommige van de krachtigste AI-modellen – vooral diepe neurale netwerken – zijn echt moeilijk te interpreteren. Ze werken op miljoenen of miljarden parameters op manieren die niet te herleiden zijn tot een eenvoudige verklaring.
In de Europese Unie geeft de AVG (Algemene Verordening Gegevensbescherming) individuen het recht om niet te worden onderworpen aan puur geautomatiseerde beslissingen die hen aanzienlijk beïnvloeden, en het recht om een zinvolle uitleg te krijgen wanneer dergelijke beslissingen worden genomen.
De EU AI-wet (die in 2024 van kracht werd) gaat nog een stap verder en vereist dat AI-systemen met een hoog risico transparant en verklaarbaar zijn. Toepassingen met een hoog risico zijn onder meer AI bij aanwerving, kredietverlening, gezondheidszorg, wetshandhaving en onderwijs.
LIME (Local Interpretable Model-Agnostic Explanations): Verklaart individuele voorspellingen door het model lokaal te benaderen met een eenvoudiger, interpreteerbaar model.
SHAP (SHapley Additive exPlanations): maakt gebruik van speltheorie om aan elke functie een bijdragescore toe te wijzen voor een specifieke voorspelling.
Aandachtsvisualisatie: in Transformer-modellen kunt u visualiseren aan welke delen van de invoer het model het meeste aandacht besteedde bij het maken van een voorspelling.
Deze technieken zijn onvolmaakt en er wordt nog steeds actief onderzoek gedaan, maar ze vertegenwoordigen een betekenisvolle vooruitgang in de richting van verantwoording.
AI-systemen zijn getraind op data – vaak persoonlijke data verzameld van miljarden mensen, soms zonder duidelijke geïnformeerde toestemming.
Belangrijkste zorgen:
Toestemming voor trainingsgegevens: grote taalmodellen zijn getraind op tekst die van internet is geschraapt. Een deel van die tekst bevat persoonlijke informatie. Mensen die blogposts, forumberichten of artikelen schreven, gaven er geen toestemming voor dat hun woorden werden gebruikt om commerciële AI-producten te trainen.
Gegevensretentie: wanneer u een AI-chatbot gebruikt, kunnen uw gesprekken worden opgeslagen en mogelijk worden gebruikt om toekomstige modellen te verbeteren. Het is vaak lastig om precies te begrijpen wat er met uw gegevens gebeurt.
Inferentieaanvallen: het is soms mogelijk om trainingsgegevens uit een model te extraheren, waardoor het model letterlijk tekst of informatie uit de trainingsset reproduceert. Dit heeft gevolgen voor alles wat gevoelig is in trainingsgegevens.
Gezichtsherkenning: Het verzamelen en gebruiken van biometrische gegevens zonder toestemming leidt tot ernstige zorgen over de privacy. Verschillende Amerikaanse steden hebben om precies deze reden het gebruik van gezichtsherkenning door de overheid verboden.
Beste praktijken voor individuen:
Veiligheid bij AI gaat verder dan vooringenomenheid. Het omvat de vraag of systemen zich betrouwbaar, voorspelbaar en zonder schade gedragen wanneer ze in de echte wereld worden ingezet.
Hallucinaties: Grote taalmodellen genereren soms zelfverzekerd klinkende, goed opgemaakte, volledig valse informatie. Een advocaat die een door AI gegenereerde brief met verzonnen zaakcitaten bij een Amerikaanse rechtbank indiende, kreeg in 2023 een sanctie. Het model wist niet dat het dingen verzon – het genereerde plausibel klinkende tekst.
Tegenstrijdige voorbeelden: kleine, onmerkbare veranderingen in een afbeelding kunnen ervoor zorgen dat een deep learning-classificator deze verkeerd identificeert. Een stopbord met zorgvuldig geplaatste stickers kan verkeerd worden geclassificeerd als een bord met snelheidslimiet. Bij autonome voertuigen heeft dit reële gevolgen voor de veiligheid.
Distributieverschuiving: Modellen die zijn getraind op historische gegevens kunnen mislukken als de wereld verandert. Veel fraudedetectiemodellen faalden tijdens COVID-19 omdat het koopgedrag dramatisch veranderde en de modellen niet voor die verschuiving waren ontworpen.
Cascaderende mislukkingen: Wanneer AI-systemen met elkaar zijn verbonden – zoals bij geautomatiseerde financiële handels- of logistieke systemen – kan een storing in één systeem leiden tot onverwachte storingen bij andere.
Verantwoorde AI gaat niet alleen over het vermijden van slechte resultaten. Het gaat over het bouwen van systemen die je publiekelijk zou kunnen verdedigen.
Voor organisaties die AI bouwen:
Voor personen die AI gebruiken:
AI is niet neutraal. Het codeert keuzes – over welke gegevens te gebruiken, voor welk doel te optimaliseren, wie te betrekken bij het ontwerpproces, hoe om te gaan met onzekerheid. Die keuzes weerspiegelen waarden, bewust of niet.
Nu AI-systemen meer consequente beslissingen nemen – over gezondheidszorg, onderwijs, justitie, werkgelegenheid, krediet – is de inzet om dit goed te krijgen nog nooit zo groot geweest. Een slecht algoritme dat op grote schaal wordt ingezet, kan miljoenen mensen schade toebrengen voordat het probleem zelfs maar wordt geïdentificeerd.
Het goede nieuws: verantwoorde AI is een oplosbaar probleem. Niet perfect, en niet allemaal tegelijk – maar met de juiste praktijken, de juiste teams en de juiste raamwerken kunnen we AI-systemen bouwen die echt betrouwbaar zijn.
Dat werk vereist mensen die zowel de technische als de menselijke dimensies van AI begrijpen. Er zijn mensen nodig die AI-systemen kunnen bouwen en daar scherpe vragen over kunnen stellen.
Bij AI Educademy is verantwoordelijke AI geen aparte module; het is verweven in alles wat we onderwijzen. Wij zijn van mening dat het begrijpen van de ethiek en veiligheid van AI net zo fundamenteel is als het begrijpen hoe een model moet worden getraind.
Als je AI aan het leren bent, of als je al in het veld werkt, maakt het begrijpen van deze kwesties je een betere ingenieur, een geloofwaardiger onderzoeker en iemand die in staat is technologie te bouwen waar je trots op kunt zijn.
👉 Ontdek onze AI-ethiek en verantwoordelijke AI-bronnen op aieducademy.org — en help mee AI te bouwen die voor iedereen werkt.
Probeer de eerste les van elke academy gratis en ontgrendel daarna elke resterende les, elk project en elk certificaat met Pro.