EU AI Act onder de loep: bescherming tegen manipulatie en misbruik

Twee soorten toepassingen die de EU AI Act verbiedt zijn relatief vaag, en vragen daarom om extra aandacht. Het gaat om:

1. Manipulatieve AI-systemen
2. AI-systemen die misbruik maken van kwetsbaarheden als gevolg van leeftijd, handicap of sociale/economische omstandigheden

Het verbod draait om het beschermen van de menselijke autonomie: het vermogen om zelf beslissingen te nemen. Dit is essentieel voor persoonlijke groei en ontwikkeling, en stelt mensen in staat om keuzes te maken en daar verantwoordelijkheid voor te dragen. Waarschijnlijk heeft het Cambridge Analytica-schandaal, waarbij kiezers op grote schaal werden gemanipuleerd, bijgedragen aan de invoering van dit verbod.

Het is soms lastig om onderscheid te maken tussen toegestane beïnvloeding en verboden manipulatie. De EU AI Act maakt duidelijk dat normale en legitieme marketingpraktijken, zoals in reclame, niet als manipulatie worden beschouwd. Maar er worden ook voorbeelden gegeven van technieken die wél tot verboden toepassingen kunnen leiden, zoals:

• Stimuli die inspelen op het onderbewustzijn
• Machine-hersen-interfaces
• Virtual reality-toepassingen

Helaas geeft de EU AI Act verder weinig concrete uitleg over waar precies de grens ligt. Alleen dat die grens wordt overschreden als een AI-systeem het vermogen van mensen om een geïnformeerd besluit te nemen belemmert, of hun gedrag wezenlijk verstoort. Dit moet bovendien leiden tot aanzienlijke (financiële, fysieke of psychologische) schade – een relatief vraag begrip.

Zelf vermoed ik dat de algoritmes van social media, die bepalen welke berichten je ziet in je news feed, kans maken om onder dit verbod te vallen. Dit geldt met name voor kwetsbare groepen, zoals jongeren, die minder goed kritisch kunnen nadenken. Als je op internet zoekt op ‘social media algorithms addiction’ vind je genoeg wetenschappelijke publicaties over de nadelige effecten van dit soort AI-toepassingen. Maar we zullen moeten afwachten hoe rechters deze regels in de praktijk toepassen.

Andere voorbeelden zijn de verslavende game-algoritmes en AI in online gokplatforms. Verschillende games maken gebruik van AI-algoritmes om spelers, met name jongeren, verslaafd te maken. Ze gebruiken technieken zoals loot boxes en tijdgebonden beloningen om kwetsbare gebruikers psychologisch te beïnvloeden en zo hun uitgaven te maximaliseren. En bij gokplatforms worden AI-systemen ingezet om gokgedrag te analyseren en persoonlijke aanbiedingen te doen aan mensen die gevoelig zijn voor gokverslaving. Dit maakt het moeilijk voor gebruikers om hun gokgedrag onder controle te houden, wat kan leiden tot ernstige financiële en psychologische schade.

Op 4 februari heeft de Europese Commissie richtlijnen gepubliceerd met nadere uitleg over de verboden toepassingen. Die nadere uitleg is nog steeds vrij abstract, maar bevat wel een paar nuttige voorbeelden die kunnen helpen bij de interpretatie van de AI Act.

Is in de tussentijd dan helemaal niets te zeggen over hoe je als organisatie voorkomt dat je dit verbod onbedoeld overtreedt? Ik denk van wel. Ik denk dat het belangrijk is om de mensen te betrekken die bij de inzet ervan de effecten ondervinden, zoals in het algemeen opgaat voor de verantwoorde inzet van AI. Vraag hen naar hun mening over de plannen voor een bepaalde AI-toepassing en welke voor- en nadelen zij zien. Denk na over hoe je de voordelen maximaal kunt benutten, en de nadelen zo veel mogelijk kunt beperken. Een zogenaamd ‘moreel beraad’ kan hierbij helpen, maar zorg er hoe dan ook voor dat je alle betrokken belangen in kaart brengt, en een te rechtvaardigen afweging maakt tussen die belangen. Een goede maatstaf is of je bereid en in staat bent om je publiekelijk over die afweging te verantwoorden. Zo ja, dan is de kans klein dat je bezig bent met een verboden AI-praktijk.