Waar bias in AI vandaan komt
Een AI-model leert van voorbeelden. Zitten er in die voorbeelden scheve patronen, dan neemt het model die over. IBM beschrijft bias als uitkomsten die scheef zijn doordat menselijke vooroordelen in de trainingsdata of in het algoritme terechtkwamen (bron: IBM over AI-bias).
Een bekend patroon: een model dat leert van eerdere aannamebeslissingen, neemt de voorkeuren van die beslissers mee. Werden vooral mannen aangenomen, dan kan het model mannen hoger zetten. Bias kan ook ontstaan doordat een groep weinig in de data zit, of doordat een kenmerk iets anders meet dan je denkt. Een postcode kan bijvoorbeeld samenhangen met afkomst of inkomen.
Zo herken en beperk je bias
Bias valt vooral op bij beslissingen over mensen: werving, krediet, prijzen of de volgorde waarin klanten geholpen worden. Kijk daar naar de uitkomsten per groep. Krijgt een groep vaker een nee zonder goede reden, dan is dat een signaal.
Vraag de leverancier op welke data het model is getraind en hoe het op bias is getest. Laat een mens beslissen bij keuzes die veel uitmaken voor iemand. De AI Act vraagt van aanbieders van hoog-risico-AI-systemen dat ze de trainingsdata onderzoeken op mogelijke bias (artikel 10).
Helemaal zonder bias is een model zelden. Het doel is dat je weet waar het scheef kan gaan en dat je dat controleert.
BegripDe AI Act is de Europese wet die regels stelt aan AI-systemen, ingedeeld naar risico.