Azure Dataplatform voor Nutreco

Nutreco, een internationaal opererende veevoerproducent heeft de wens om sneller in te spelen op de veranderingen in de markt. Hun klanten vragen om hogere opbrengst en tegelijkertijd een lager gebruik van antibiotica en een betere balans in het gebruik van grondstoffen rekening houdend met voedselschaarste. Om dit aan te pakken stuurt Nutreco aan op een sterk groeiend gebruik van data, analyses en algoritmes. Daarbij willen klanten van dit bedrijf steeds meer data over de producten gebruiken in de optimalisatie van hun eigen processen.  

Tijdigheid, juistheid, beschikbaarheid en betrouwbaarheid van data is het fundament waarop deze nieuwe digitale producten gebouwd worden.  

Nutreco initieerde een datastrategie met als doel meer waarde te halen uit de data en de kennis die aanwezig is in de eigen organisatie en externe databronnen. Deze datastrategie resulteerde in de behoefte aan een data-ecosysteem bestaande uit data use-cases, data governance en databeleid dat de kwaliteit van data kan waarborgen. Ze implementeren deze strategie door het realiseren van een dataplatform en dataproducten. Deze realisatie gaat in samenwerking met interne data-analisten en externe dataconsumenten in de hele waardeketen. Een betrouwbaar dataplatform, een uniform gebruik van master data management, betrouwbare service levels en hoogwaardige datasets in dit dataplatform zijn essentieel voor de waarde van deze data producten.  

Daarom vroeg Nutreco het team van AMIS Conclusion om hen te ondersteunen bij het ontwerpen en implementeren van het dataplatform en de kwaliteit, snelheid, tijdigheid, beschikbaarheid van de data te verhogen. Om zo het gebruik van data door het hele bedrijf te verbeteren. Hiervoor realiseerde AMIS Conclusion een dataplatform met behulp van Azure PaaS-componenten. Het dataplatform biedt een generiek hulpprogramma voor gegevensverwerking dat wordt gebruikt om alle bedrijfsonderdelen te bedienen bij het oogsten, verwerken, verrijken en publiceren van bruikbare datasets voor hun gebruikers. Daarnaast stelt het platform de veevoerproducent in staat om snel nieuwe dataproducten leveren. 

Data is van fundamenteel belang om effectieve en efficiënte innovatie mogelijk te maken. Hierin bieden we data discovery (welke data is er?) en data sharing (hoe gebruik ik de data makkelijk?).  Dit versnelt het ontsluiten van de aanwezige kennis en stelt de hele organisatie in staat om datagedreven te worden.   

Hieronder vind je enkele praktische resultaten van dit dataplatform. Het platform: 

1. biedt een solide digitale basis voor data-gerelateerde producten en diensten. Het platform biedt ondersteuning aan datagebruikers en data engineers. Het platform maakt het gemakkelijker voor het bedrijf om analyses en algoritmes toe te passen zonder de overhead van toegang en verwerking. 
2. biedt een eenvoudige en transparante toegang tot data.  
3. stelt de gebruiker in staat om grootschalige datasets aan te bieden aan de hele organisatie zonder de overhead van data-extractie en data cleaning.  
4. garandeert beschikbaarheid en tijdigheid van gegevens voor de hele organisatie.  
5. biedt gegevens uit verschillende domeinen en bronnen. 
6. stelt medewerkers die afhankelijk zijn van betrouwbare datasets in staat om hun analyse uit te voeren en beslissingen te nemen met hun algoritmes, analysetools en applicaties die inzichten en voorspellingen creëren. 
7. biedt beschikbaarheid en vindbaarheid van betrouwbare en hoogwaardige data aan data-analisten.  
8. biedt de mogelijkheid om het platform op of af te schalen op basis van de vraag. 

Het dataplatform is gebouwd met Microsoft Azure PaaS en SaaS componenten. We hebben een oplossing ontworpen die geschikt is voor incrementele extractie, laden en transformatie (ELT) van brongegevens.  

De oplossing maakt gebruik van Azure Data Factory (ADF) om de meerdere ELT-pijplijnen te automatiseren. Met behulp van vooraf gebouwde ADF-connectoren verbinden we veel verschillende bronnen zoals ERP- en CRM-systemen; relationele en NoSQL-databases en Sharepoint. De resulterende onbewerkte gegevensset wordt opgeslagen in Azure Data Lake.  
 
De volgende fase in de pijplijn wordt automatisch uitgevoerd om de gegevens op te schonen, te filteren, te verrijken en te transformeren. Dit gebeurt grotendeels in Python en wordt uitgevoerd vanuit ADF in Azure Databricks. De resulterende rijke gegevens worden geschreven naar Azure Data Lake. Databricks is een toonaangevende, cloud-gebaseerde data-engineeringtool die wordt gebruikt voor het verwerken en transformeren van enorme hoeveelheden gegevens en het verkennen van de gegevens via machine learning-modellen.

Wanneer alle transformaties zijn voltooid, worden gegevens bewaard in de gebruikerslaag.  Hier hebben gebruikers en/of applicaties fijnmazige toegang tot gegevens die ze mogen zien. Gebruikers kunnen zoeken naar en meer te weten komen over gegevensassets in de gegevenscatalogus met details zoals kenmerkdefinities en -afhankelijkheden, gegevensafstamming en -kwaliteit, eigendom en gevoeligheid van gegevensassets. 

Met dit platform hebben data-gebruikers toegang tot een breed scala aan (master)datasets die voorheen moeilijk te verkrijgen waren. Data-scientist kunnen nu profiteren van regelmatig bijgewerkte datasets om te gebruiken in hun business intelligence, geavanceerde analyses of machine learning modellen. De beschikbare datasets zijn niet beperkt tot uitsluitend interne financiële gegevens maar kunnen ook operationele-, productie-, logistieke-, verkoop- en voorraadgegevens bevatten. En externe gegevensbronnen zoals IoT-sensorgegevens. 

Het dataplatform heeft een groot verscheidenheid aan stakeholders binnen Nutreco. De gegevens zijn afkomstig uit veel verschillende bronnen. Hierdoor was standaardisatie van de bronnen en stamgegevens een uitdaging. De data-eisen waren nog aan het veranderen tijdens de ontwikkeling van het platform. Dit maakte het project ingewikkeld. Met behulp van een agile en iteratieve aanpak is AMIS Conclusion in staat om vooruitgang op alle gebieden aan te tonen en tastbare resultaten te leveren binnen de eerste maanden. Dit resultaat en de vooruitgang ondersteunden het vertrouwen van de organisatie in het platform en verhoogden het aantal datasets in het platform geleidelijk.  

AMIS Conclusion ontwierp en implementeerde het dataplatform met behulp van de nieuwste best practices en ontwerpprincipes voor cloudgebaseerde dataplatforms. Het implementeren van een platform als code maakte de implementatie en promotie van nieuwe veranderingen uiterst betrouwbaar en robuust.  

AMIS Conclusion maakt een onderscheidend verschil in het realiseren van de datamarkt en het dataplatform door engineers in te zetten die de toegevoegde waarde en use cases bovenop dit platform kunnen zien. Dit maakt iedereen die op het platform werkt enthousiast om zo snel mogelijk bedrijfswaarde uit de datasets te halen. Het hebben van deze mindset is ook zeer ondersteunend bij het nemen van de juiste architectuurbeslissingen en gefocust blijven op het zoveel mogelijk toevoegen van waarde aan use cases. Deze manier van werken maakte het team zeer productief en flexibel in het volgen van nieuwe use cases en gebruikerseisen.