APG zet met generative AI volgende stap in klantcontact

Enkele jaren geleden ontwikkelde pensioenuitvoerder APG een aantal technische oplossingen die klanten in staat stelde om zonder direct contact met een medewerker of specialist een antwoord op hun vragen te krijgen door middel van een chatbot. Dit platform ontlastte het contactcenter en was behoorlijk succesvol. Maar zoals het zo vaak gaat met technologie: als het eenmaal draait, kijk je er niet meer naar om. “Terwijl we zagen dat de technologie achter chatbots zich ontzettend snel ontwikkelt”, zegt Ron Jongen, die net als zijn collega Chris Veerkamp Innovator is bij De Groeifabriek van APG. “Het wordt tijd voor de beweging naar een echt conversatieplatform. De markt en de techniek zijn er nu klaar voor.”

Groeifabriek als ideeëngenerator 

De Groeifabriek is APG’s innovatieve hart voor nieuwe producten, diensten, services en concepten. Ron: “We richten ons op het ontwikkelen en in de markt zetten van diensten en oplossingen waarmee mensen grip kunnen krijgen op hun financiële balans. We willen daarmee bijdragen aan hun welvaart en welzijn; nu en later. We doen dat niet alleen voor onszelf, maar  juist voor de bij ons aangesloten pensioenfondsen en hun deelnemers.” 

Als innovator zijn Ron en Chris onder meer verantwoordelijk voor de ideeëngeneratie binnen APG. “We halen inspiratie uit trends in de markt, uit rapporten van het CPB en andere clubs, uit technologische ontwikkelingen, maar ook uit sparringsessies met bijvoorbeeld Future Facts Conclusion, een van onze partners op het gebied van innovatie. En natuurlijk luisteren we heel goed naar onze interne klanten. Technologie moet een bijdrage leveren aan het oplossen van hun problemen en is geen doel an sich.” 

Kennisbank eenvoudiger ontsluiten 

Eén van die problemen was dat veel vragen zo complex zijn, dat klanten die het contactcenter belden lang in de wacht stonden. Ron: “We hebben een hele uitgebreide kennisbank. Bij complexe vragen moeten contactcenter agents in die kennisbank op zoek naar het juiste antwoord. Dat kost veel tijd. Met de komst van ChatGPT dachten wij: kunnen wij deze technologie niet inzetten om dat antwoord te vinden?” 

Hij vroeg Future Facts Conclusion om mee te denken. Uit deze exploratiefase kwamen wel 20, 25 ideeën naar voren, vertelt Chris. Het team gebruikte de ‘Now, How, Wow’-methodiek om de ideeën te plotten op businesskansen en technische moeilijkheidsgraad. “We vinden het belangrijk te kijken naar het innovatieve karakter, maar ook naar de haalbaarheid en maakbaarheid binnen APG. Daarom willen we beginnen met ideeën die direct een bijdrage leveren aan de business en met techniek die zich al bewezen heeft in de markt.” 

Want ideeën zijn er genoeg. Zoals bijvoorbeeld de wens om aan de MijnPensioen-omgeving een knop toe te voegen met ‘uitleg bij je pensioen’ Chris: “Als je nu inlogt zie je direct een best ingewikkelde grafiek. Als je financieel of cijfermatig goed bent onderlegd, dan kun je daar prima mee uit de voeten. Maar sommige mensen schrikt zo’n grafiek direct af. We willen de informatie graag laagdrempeliger maken. Hoe tof is het als je gewoon via spraak uitleg krijgt bij die grafiek, in je eigen taal en op je eigen niveau?”

Framework opzetten 

De exploratiefase maakte duidelijk dat het basisidee – een chatbot voor contactcenter agents zodat zij sneller een antwoord kunnen vinden op de soms complexe klantvragen – de moeite van het uitwerken waard was. En dat je al snel moet nadenken over hoe je de ideeën kunt laten landen in een organisatie als APG.  Daarbij bleek dat er voor diverse ideeën waarbij generative AI werd ingezet een gemeenschappelijke basis was.  Gezien de andere ideeën leek het daarom verstandig om niet één oplossing voor één probleem te ontwikkelen, maar om een framework op te zetten dat gebruikt kan worden om meerdere ideeën uit te werken op het gebied van verbetering van de klantbediening met inzet van generative AI. 

Het framework zorgt ervoor dat vraagstukken die in elkaars verlengde liggen makkelijker kunnen worden opgepakt. “Eigenlijk hebben we eerst een stapje teruggedaan”, zegt Chris. “Dit eerste project heeft primair als doel om te onderzoeken wat er moet gebeuren om generative AI succesvol binnen APG te implementeren. Als we dat weten, dan is dat een fundament dat we kunnen gebruiken voor meerdere te ontwikkelen oplossingen op dit gebied.” Het framework helpt dan bijvoorbeeld ook om betere afwegingen te maken welke technologie wordt gebruikt. 

Vertalen en hertalen 

In de tussentijd verkent APG ook bij andere vraagstukken van pensioenfondsen of de inzet van AI de dienstverlening kan verbeteren. Een voorbeeld is de vraag van het pensioenfonds Schoonmaak, een fonds met veel deelnemers die niet comfortabel zijn in de Nederlandse taal. Chris: “Zij vroegen ons om mee te denken hoe zij drempels in het gebruiken en verwerken van de communicatie kunnen verlagen.” 

De eerste stap was het onderzoeken welke drempels er zoal zijn. Het blijkt dat naast taal ook de complexiteit van de informatie een barrière was. Met zijn achtergrond als communicatiewetenschapper wist Chris meteen dat je in zo’n situatie het best informatie in meerdere lagen kunt aanbieden. Hij vertelt: “We hebben ons laten inspireren door de app Lees Simpel. Met die app maak je een foto van een ingewikkelde brief die je hebt ontvangen van een instantie. De app vertaalt de brief vervolgens in lekentaal en geeft puntsgewijs weer wat er van jou wordt verwacht.

Onze ambitie is om op een soortgelijke manier, puntsgewijs en in heel helder taalgebruik, de pensioeninformatie toegankelijk te maken. En dan niet alleen in het Nederlands, maar in de moedertaal van de pensioendeelnemer. Dat is zeker voor het pensioenfonds Schoonmaak van groot belang, want veel deelnemers zijn niet in Nederland opgegroeid.” 

Technische complexiteit 

De gedachte die veel mensen zullen hebben is: hoe ingewikkeld kan het zijn om op basis van ChatGPT een chatbot voor complexe pensioenvragen en een vertaal- en/of hertaalapp te maken? ChatGPT kan immers goed leesbare teksten genereren op de zes taalniveaus die het Europese referentiekader CEFR onderscheidt. Je kunt bovendien precies aangeven welke documenten als input mogen worden gebruikt bij het formuleren van een antwoord. De kans dat de chatbot onjuiste informatie gebruikt is daardoor nihil. 

En toch is het complex, zegt Bastiaan Sjardin, CTO en AI Strategist bij Future Facts Conclusion. “Want AI heeft de neiging om te gaan hallucineren. De technologie voorspelt wat er zou moeten staan en presenteert de informatie vervolgens als feit. De kans dat dat misgaat is heel klein bij simpele en eenduidige vragen, maar een stuk groter wanneer complexe informatie moet worden geïnterpreteerd. APG mag natuurlijk geen fouten maken. We hebben het hier niet over de bestelling van een paar schoenen, het gaat om zeer belangrijke informatie over de financiële toekomst van mensen. Zelfs de kleinste fout moeten we gewoon volledig uitsluiten.”

Belang van prompt engineering 

Dat betekent dat er veel energie is gestopt in de prompt engineering. Sjardin: “Daarbij vertel je de chatbot hoe jij wilt dat hij de vragen beantwoordt en welke context daarbij moet worden meegenomen. De prompt moet dus rekening houden met de gewenste toon van het antwoord en het vereiste nauwkeurigheidsniveau. Om ervoor te zorgen dat de bot altijd het juiste antwoord op een vraag geeft, zul je heel veel prompts moeten maken. De gegenereerde output moet je vervolgens valideren bij zowel specialisten als eindgebruikers. Waarschijnlijk is de reactie van mensen wisselend, waardoor je na zo’n validatiesessie eindigt met een heleboel input om de prompts te verbeteren. Het is dan ook een proces wat je zult moeten blijven herhalen. Daarom gaat verreweg de meeste energie hierin zitten.” 

Een andere complexiteit zit in het vertalen van de teksten. “Er zijn best veel nichetalen die juist in de schoonmaakbranche veel worden gesproken, denk aan Bulgaars of Albanees”, zegt Bastiaan. “Die taalmodellen zijn lang zo rijk niet als de modellen van veelgebruikte talen zoals Engels of Duits. We zijn daarom begonnen met negen talen, waaronder Pools, Oekraïens, Marokkaans en Arabisch.” Het bleek bijvoorbeeld dat Marokkaans en Arabisch in de taalmodellen al snel over één kam worden gescheerd, terwijl het toch echt twee verschillende talen zijn.

Toekomst 

Op het moment van het interview bevindt APG zich in de pilotfase van deze chatbotoplossing. Tien contactcenter agents doen in een pilot ervaring op met een prototype van de chatbot die de kennisbank raadpleegt. Ron: “We hebben een implementatiehorizon van één tot twee jaar. In die periode willen we meerdere producten opleveren op basis van generative AI. Door onze framework-aanpak nemen we lessen die we opdoen in het ene project automatisch mee in het andere, waardoor je naar het eind toe steeds meer versnelling krijgt.

Op dit moment zitten we nog in de fase van het doorleven hoe deze tooling in de praktijk kan gaan zorgen voor meerwaarde. We beginnen klein, in het contactcenter, en verwachten dat het zich daarna als een olievlek verspreidt. Want in principe kun je deze technologie in alle vormen van klantcontact inzetten, maar om de vruchten te plukken moet je het zorgvuldig aanpakken. Want als je te kort door de bocht gaat en de chatbot komt een keer met een verkeerd antwoord, dan verliezen mensen het vertrouwen. Dat moeten we absoluut voorkomen.”