Event Streaming: real-time data voor hogere efficiëntie en klanttevredenheid

Event Streaming: de motor achter realtime dataverwerking

Event Streaming draait om het real-time verwerken van events (gebeurtenissen). Dit kunnen data-events zijn, zoals het aanmaken van een kassabon, of operationele gebeurtenissen, zoals het openen van een machineklep. Dennis legt uit: “Het uitgangspunt is simpel: zodra er iets gebeurt, kan dat direct een of meerdere processen in gang zetten die zijn ondergebracht in datapipelines. Die data wordt automatisch verplaatst, verwerkt en beschikbaar gesteld, vaak binnen enkele seconden. Het mooie is dat meerdere systemen dezelfde events kunnen gebruiken voor uiteenlopende doeleinden, zoals analytics, monitoring of het triggeren van workflows. Die flexibele inzet maakt Event Streaming een krachtig concept voor bedrijven die willen inspelen op real-time gebeurtenissen.”

Van kassa’s op honderden locaties tot centraal bruikbare data

In de casus van de supermarktketen speelt Event Streaming een sleutelrol in het monitoren van voorraden. Dennis beschrijft hoe het proces bij een kassabon begint: “Elke kassabon die wordt aangemaakt, is een event. Het event wordt in dit geval naar het Azure-platform gestuurd, maar ook platforms zoals Apache Kafka en Confluent zijn hier uitstekend voor geschikt. Vervolgens wordt het door verschillende lagen van het dataplatform getrokken, zoals de ruwe data-laag en de geschoonde laag. Uiteindelijk ontstaat een database met gestandaardiseerde data waarmee analyses en acties worden ondersteund.”

De technologie richt zich in dit geval vooral op het bestrijden van zogeheten phantom stock: een situatie waarin de systemen denken dat er voorraad is, terwijl de schappen leeg zijn. Door real-time data van transacties te combineren met voorraadbeheer, kan de supermarktketen proactief lege schappen voorkomen, en slimmer en gunstiger inkopen.

Data doorloopt cyclus razendsnel

Voor de technische realisatie koos Virtual Sciences Conclusion voor tools zoals Databricks. Deze cloudoplossing biedt flexibiliteit en schaalbaarheid, twee cruciale eigenschappen voor het verwerken van de enorme hoeveelheid kassatransacties bij de supermarktketen. Dennis legt uit: “We bouwden een oplossing waarmee data binnen één minuut de gehele cyclus doorloopt, van transactie tot en met analyse. Standaardtools zoals Data Factory voldeden niet, omdat ze niet geschikt zijn voor real-time verwerking. Daarom gebruikten we Databricks en de Spark libraries om events direct te verwerken en op te slaan in Delta Tables.”

Delta Tables werden gekozen vanwege hun functionaliteit voor data-validatie en -deduplicatie. Bij dubbele kassabonnen kan het systeem automatisch herkennen of het om een nieuw record gaat of een duplicaat dat al verwerkt is. Hierdoor wordt de databetrouwbaarheid verhoogd en de verwerking versneld.

Pionieren met Event Streaming

Het ontwikkelen van de Event Streaming-oplossing voor de supermarktketen was niet zonder uitdagingen. Dennis vertelt: “Event Streaming was nieuw voor onze klant. We hadden nog geen kant-en-klare voorbeelden en moesten alles zelf ontwerpen en implementeren. Dat betekende veel experimenteren. Uiteindelijk hebben we een solide oplossing gebouwd, maar het was een intensief proces.”

Een ander obstakel was de schaal van de data. Dennis herinnert zich de eerste Koningsdag nadat het systeem live ging bij de supermarktketen, een van de drukste dagen van het jaar voor het bedrijf: “Tijdens die piek in transacties liep het platform vast. Het was een behoorlijke klus om alles te herstellen, maar we leerden ervan. Door het optimaliseren van de partitionering en de dynamische schaling van de Spark-clusters, hebben we het systeem voorbereid op toekomstige groei en tijdelijk verhoogde belasting. Inmiddels kan het platform zulke pieken dan ook moeiteloos aan.”

De bredere waarde van Event Streaming

Event Streaming zorgt in de casus van de supermarktketen voor:
●    Minder lege schappen door voorraadtekorten sneller te signaleren.
●    Betere klanttevredenheid, omdat klanten minder vaak misgrijpen.
●    Hogere omzet door een betere productbeschikbaarheid.

Dennis benadrukt dat de toepassingen van Event Streaming veel breder zijn. Hardop denkend: “Een openbaar vervoerder kan Event Streaming bijvoorbeeld inzetten om sensordata van voertuigen real-time te verwerken. Dat is waardevol voor onderhoud en klanttevredenheid. Overal waar grote hoeveelheden data snel verwerkt moeten worden, kan Event Streaming een groot verschil maken.”

Waarom Virtual Sciences Conclusion?

De supermarktketen koos voor Virtual Sciences Conclusion vanwege de eerder bewezen expertise in het bouwen van dataverwerkingsoplossingen op onder andere het Azure-platform. Met een pragmatische aanpak wist het team een volledig nieuwe oplossing te ontwerpen en te implementeren. Dennis blikt terug: “Onze oplossing is inmiddels uitgegroeid tot de referentie-architectuur binnen het bedrijf. Wanneer ze nu vragen hebben over event-driven data in Azure, grijpen ze naar onze blauwdruk. Het is een flexibel model dat ook in andere situaties toegepast kan worden.”

Event Streaming biedt kansen in alle sectoren

Event Streaming is een populair onderwerp, maar de onderliggende technologie bestaat al geruime tijd. Dennis legt uit: “De concepten achter Event Streaming bestaan al langer, maar pas recent zijn infrastructuren zoals cloudplatformen krachtig genoeg om zulke grote hoeveelheden data snel te verwerken. Met tools zoals Databricks en Spark kunnen we nu dingen doen die een paar jaar geleden ondenkbaar waren.”

De kracht van Event Streaming zit in de snelheid en flexibiliteit waarmee het bedrijven helpt inspelen op real-time gebeurtenissen. Of het nu gaat om voorraadbeheer, transportoptimalisatie of predictive maintenance, deze technologie biedt kansen voor organisaties in alle sectoren.

Ervaar de kracht van Event Streaming

Met het Event Streaming-project bij de supermarktketen heeft Virtual Sciences Conclusion laten zien hoe technologie concrete bedrijfsproblemen oplost. Door innovatieve integratie-oplossingen te ontwikkelen, bestendigt Virtual Sciences Conclusion zijn reputatie als dé integratiespecialist van Nederland. Dennis sluit af: “We zijn geen theoretici, maar experts die technologieën zoals Event Streaming tastbaar en toepasbaar maken, zodat organisaties direct gebruik kunnen maken van de positieve impact van dit soort krachtige nieuwe ontwikkelingen.”