Artificial intelligence (ai) zal binnen afzienbare tijd breed worden toegepast in de financiële sector, bijvoorbeeld bij het opsporen van fraude. Een bank krijgt dagelijks te maken met vele duizenden transacties, Die onmogelijk allemaal handmatig te controleren zijn. Algoritmen zijn sneller en efficiënter. En als je een verzekering wilt afsluiten, wordt de hoogte van de premie in veel gevallen bepaald door een geautomatiseerd systeem. Handig voor de verzekeraar, maar wat betekent het voor de consument?

Het gevaar van AI is dat de menselijke factor goeddeels ontbreekt. De systemen worden vooraf geprogrammeerd en zijn veelal zelflerend. Op basis van de miljoenen data die ze analyseren, trekken ze conclusies. Ze nemen beslissingen die door mensen nauwelijks te controleren zijn. Dit kan discriminatie tot gevolg hebben. Een bekend voorbeeld is het algoritme van Amazon, dat vrouwelijke kandidaten stelselmatig achterstelde bij sollicitaties. Het Familie Lurvink Fonds zet zich in om inclusieve welvaart te bevorderen en discriminatie tegen te gaan, door onderzoek naar dit onderwerp te ondersteunen. Onderzoeker Joris Krijger en donateur Ivo Lurvink ontmoetten elkaar op de Erasmus Universiteit Rotterdam.

Zelflerend

Joris Krijger promoveert aan de Erasmus Universiteit Rotterdam op een onderzoek naar AI en ethiek: “Wat AI in feite doet, is het analyseren van heel veel data en daar conclusies aan verbinden. Stel dat je naar een bank gaat om een hypotheek af te sluiten. Dan wordt jouw ‘risicoscore’ berekend door een algoritme, op basis van variabelen als inkomen en de prijs van je huis. Indien we zo’n systeem zelflerend maken, kan dit patronen gaan zien en daarmee beslissingen nemen op basis van heel onwenselijke uitgangspunten, denk aan postcodegebied, nationaliteit of leeftijd. Nu geldt bij de meeste banken niet een keihard ‘computer says no’, maar verzekeringsmaatschappijen gaan alweer een stapje verder. Stel dat je een hogere premie betaalt, omdat je in het ‘verkeerde postcodegebied’ woont. Hoe eerlijk vinden we dat? De tendens is dat we steeds meer gaan vertrouwen op systemen, die ook nog eens complexer worden. In de toeslagenaffaire zag je bijvoorbeeld heel scherp wat er fout gaat als zo’n systeem mensen aanmerkt als mogelijke fraudeurs.”

Ivo Lurvink en Joris Krijger lopen op campus. Fotocredits @Michelle Muus

Expert communities

Volgens Krijger zijn er in de financiële sector wel kennis en aandacht voor ethische aspecten van AI, maar wordt er onvoldoende samengewerkt. Hij lanceerde het idee om specifieke uitdagingen rond ethiek en algoritmen te bespreken in kleine ‘expert communities’, waarin diverseorganisaties – van gemeentes tot banken – van elkaar leren. Krijger vond een partner in het Familie Lurvink Fonds. Ivo Lurvink, directeur en partner van CVC Capital Partners Amsterdam en oprichter van het fonds, motiveert zijn keuze: “Ik vind dat we moeten streven naar een eerlijke samenleving, met een zo inclusief mogelijke welvaart. Als je praat over oneerlijkheid, over het gebrek aan gelijke kansen, dan is het onderzoek van Joris ‘spot on’. Iedere manager en iedere ondernemer zou naar het verhaal van Joris moeten luisteren. Ik ondersteun een project dat ik voor ogen had toen ik het fonds oprichtte. Het mooie is ook de dialoog met de onderzoeker. Ik hoop Joris te kunnen steunen als klankbord en met een netwerk.” Krijger: “Die steun ervaar ik zeker. Ik heb nu drie mutual learning-pilots kunnen organiseren, onder meer over het fraudedetectie-algoritme bij de Sociale Verzekeringsbank.”

Transparantie

De risico’s van AI worden breed onderkend. Anno 2021 zijn er niet minder dan 112 ethische richtlijnen voor het programmeren van AI-systemen. Uit onderzoek blijkt echter dat deze ‘papieren instructies’ nauwelijks effect hebben. In zijn proefschrift wil Krijger uiteenzetten hoe ethiek een fundamentele plek kan innemen in AI. Omdat je, zoals hij zelf zegt ‘de wereld niet vanachter je onderzoeksbureau gaat veranderen’, combineert hij zijn promotieonderzoek aan de Erasmus University Rotterdam met een functie als AI & Ethics specialist bij de Volksbank. Krijger: “Je kunt in de wetenschap ethische concepten bedenken, maar wilt ook zien hoe ze landen in de praktijk. Omgekeerd kijk ik mee met de ontwikkeling van data science binnen de bank: waar willen ze AI voor inzetten, waar gebruiken ze algoritmen voor? Als academicus reflecteer je daar dan weer op.” Na twee jaar onderzoek schetst Krijger zijn eerste bevindingen: “Ethiek is niet alleen de verantwoordelijkheid van ontwikkelaars, maar van de organisatie als geheel. We moeten de organisaties trainen in het signaleren van ethische aspecten bij algoritmes. Wat puur rationeel een oplossing kan zijn voor een probleem, bijvoorbeeld het opsporen van fraude, kan veel onbedoelde impact hebben. Dus stel jezelf vragen: kan het systeem groepen structureel benadelen? Hoe kunnen we het systeem aanpassen, begeleiden? Spelen er guidance issues, oftewel kunnen we verantwoorden waarom we deze data en dit model gebruiken? Motiveer je keuzes, evalueer de uitwerking en wees transparant. Daarnaast moet je als organisatie een gremium hebben dat bekijkt hóe de keuzes worden gemaakt. Zo kun je naar ethische AI toewerken.”

Good intent

Lurvink: “Vaak is het geen onwil, maar onbekendheid met de materie. Ik merk in discussies hoe CEO’s en Executive Management Teams hiermee worstelen. Maar er moet een goede oplossing komen. Niet alleen vanuit moreel perspectief, maar ook bedrijfsmatig. Een onderneming die algoritmes inzet om snel te kunnen verdienen, ziet op de langere termijn de klanten de deur uitlopen. Doe zaken met ‘good intent’ naar je stakeholders, anders krijg je de boemerang een keer terug.” Krijger beaamt dit: “Het proces lijkt objectief, puur wiskundig. Je analyseert data en denkt: ‘wat kan er fout mee gaan?’. Maar de praktijk is heel anders.”

Ivo Lurvink, Joris Krijger en het projectteam (Tamara ThuisMaarten de Ruiter and Indy Broekman) op campus. Fotocredits @Michelle Muus

English:

Joris Krijger and Ivo Lurvink: Artificial intelligence and ethics

Artificial Intelligence (AI) has many applications in the world of finances, for example in detecting fraud, or when determining customer creditworthiness. However, the systems are self-learning and make decisions that are very difficult for humans to monitor. Is this dangerous? Joris Krijger, AI & Ethics specialist at the Volksbank and Erasmus University Rotterdam PhD candidate: “Algorithms mine an incredible amount of data for patterns. This can lead to a lot of information, but it comes at the cost of the human factor. If you want an insurance, does the insurer examine your individual situation? Or is your postcode more decisive in determining your premium? Using algorithms can result in large-scale discrimination.” With support of the Familie Lurvink Fonds, Krijger is investigating how ethics can be guaranteed in AI-related processes. Krijger: “First of all, we need to train developers to signal ethical aspects. They must be able to explain why they make certain choices. Is age or postcode significant when deciding on whether someone qualifies for a mortgage? They must motivate these choices, evaluate the results, and stay transparent. That is the only way to minimize the risks that groups of people are unjustly excluded.