Nederlandse Organisaties Flirten met Risicovolle Algoritmes. 

De ontwikkeling van beeldherkenning of gezichtdetectiesoftware, gebaseerd op datasets die niet representatief zijn, heeft tot gevolg gehad dat deze technologie in zekere mate geoptimaliseerd is voor een lichte huidskleur. Bovendien speelt het contrast in afbeeldingen een significante rol in de detectie van een gezicht, wat vaak resulteert in een nadelig effect op de effectiviteit van gezichtsdetectie bij mensen met een donkere huidskleur. Ondanks dat Proctorio verbetering belooft, is het onduidelijk hoe deze verbeteringen worden gerealiseerd en gecontroleerd.

In mijn ogen zou dezelfde beslissing moeten worden genomen als die demissionair minister Robert Dijkgraaf maakte toen bleek dat algoritmes bij DUO discriminerende effecten hadden: stoppen met het gebruik ervan. Als het niet mogelijk is om een discriminerend algoritme aan te passen zodat het stopt met discrimineren, dan is het voortzetten van het gebruik ervan in mijn ogen een vorm van discriminatie.

“De supermarkt Jumbo experimenteert met risicovolle algoritmes”

Deze week werd bekendgemaakt dat supermarkt Jumbo tests gaat uitvoeren met een algoritme om te bepalen wanneer steekproeven worden uitgevoerd en zal daarnaast beeldherkenning gebruiken om verdacht gedrag te detecteren. Het gebruik van algoritmes voor zowel het uitvoeren van steekproeven als het herkennen van verdacht gedrag op camerabeelden is risicovol. Bij beide typen algoritmen is de trainingsdata vaak niet representatief of gebalanceerd en hierdoor kan bestaande bias versterkt worden wat nadelig kan zijn voor bepaalde bevolkingsgroepen.

Algoritmes die bepalen wanneer een steekproef moet worden gedaan, zijn waarschijnlijk gebaseerd op verouderde data. Dit maakt het waarschijnlijk dat deze aanpak discriminerend kan uitpakken, waardoor een uiterst zorgvuldige benadering vereist is. Er kunnen verschillende fouten optreden: bijvoorbeeld een algoritme dat altijd mensen controleert die halal producten kopen of mensen die opvallend lang in de winkel verblijven. Dit kan ertoe leiden dat moslims en ouderen systematisch worden geselecteerd en hinder ondervinden bij het vervullen van hun basisbehoeften.

Het gebruik van beeldherkenning om verdacht gedrag te identificeren brengt aanzienlijke risico’s met zich mee.

Een voorbeeld is het inzetten van gezichtsherkenningssoftware door politie dat een groot risico heeft tot onterechte arrestatie van onschuldige personen. Hoewel de supermarktketen aangeeft geen gezichtsherkenning te gebruiken, kan de toepassing van beeldherkenning voor het signaleren van verdacht gedrag alsnog tot fouten leiden. Stel je een supermarkt voor waar hoofdzakelijk mensen met een lichte huid en een ANWB-kledingstijl winkelen; in zo’n setting zullen algoritmes waarschijnlijk vaker fouten maken bij mensen met een donkere huidskleur of die een andere kledingstijl hebben.

Er bestaan technieken om dergelijke fouten te voorkomen, maar het probleem ligt bij het controleren of deze technieken daadwerkelijk worden ingezet. Gelukkig betreft het hier een tijdelijk experiment, waarbij hopelijk aandacht wordt besteed aan de eerlijkheid van het systeem en of het niet discrimineert of wetten overtreedt. Idealiter wordt dit experiment ook gecontroleerd door een onafhankelijke derde partij, zoals de Autoriteit Persoonsgegevens (Dutch DPA). Immers, er is niets zo blijvend als een tijdelijk experiment zonder vastgestelde einddatum.

De originele foto waarbij Biden zijn kleindochter een medaille opgespeld.

Daarnaast moet ik denken aan hoe Wikipedia vroeger op school werd gekenmerkt als een bron van twijfelachtige kwaliteit. Dat terwijl het een van de meest gevalideerde websites op het internet is. Het is interessant hoe de kwaliteit van informatie dusdanig achteruit aan het gaan is, dat wat vroeger werd gezien als een twijfelachtige bron vandaag de dag kan worden gezien als een voorbeeld van geverifieerde informatie.

Meer fraudemeldingen dan ooit

Ook kwam deze week naar buiten dat er meer fraudemeldingen zijn dan ooit tevoren. Deze week werd bekend dat er in 2023 een recordaantal van 16.000 fraudemeldingen zijn geregistreerd, voornamelijk gerelateerd aan WhatsApp- en SMS-fraude. Zoals ik enkele weken geleden al schreef, is het repliceren van iemands stem op een overtuigende manier eenvoudiger dan ooit tevoren. Dit vergroot de kans op een toename van fraudegevallen waarbij generatieve AI wordt ingezet. Een uiterst zorgwekkende ontwikkeling.

We bevinden ons in een boeiend tijdperk waarin de wereld zich in een ongekend tempo ontwikkelt. Toch moeten we niet vergeten dat deze veranderingen niet willekeurig plaatsvinden. Elke week worden er, zowel op grote als kleine schaal, beslissingen genomen die de richting bepalen waarin onze samenleving zich beweegt. Zoals Virginia Dignum vaak zegt: hoewel er regelmatig gesproken wordt over nieuwe toepassingen van AI alsof deze onvermijdelijk zijn, zoals het weer, is het in werkelijkheid een keuze van de samenleving om AI te gebruiken. Er is een overvloed aan nuttige toepassingen van AI, maar we moeten waakzaam blijven voor het klakkeloos beginnen of blijven inzetten van risicovolle algoritmes.