nieuwsConclusionAMIS ConclusionNieuwsIntegratie groeit do...

Integratie groeit door - jij ook?

Wat is data integratie? Kort en bondig: het verplaatsen van data van locatie A naar locatie B, oftewel ervoor zorgen dat data die op één plek aanwezig is, ook op een andere plek beschikbaar komt. In de juiste vorm, op het juiste moment, langs het aangewezen kanaal en natuurlijk veilig en schaalbaar. Dat gold 15 jaar geleden, toen we bij AMIS serieus aan integratie gingen doen. En dat geldt vandaag – nu we datzelfde doel nastreven in een goeddeels nieuwe wereld. Integratie verbindt systemen, processen en organisaties.

Door: Lucas Jellema

9 februari 2019   |   Nieuws   |   Door: AMIS Conclusion

Deel

AMIS
Een terugblik in het verleden

Integratie was ooit bijna synoniem met Enterprise Service Bus. Berichten ontvangen, valideren, transformeren, doorsturen en de antwoorden verwerken, combineren en in het juiste formaat retourneren. XML was ‘koning’ en als we het over services hadden ging het om SOAP Web Services waarmee we werkten aan herbruikbare en ontkoppelde datadiensten. Bij AMIS werkten we vooral op basis van Java en vaak met de Oracle SOA Suite en Service Bus-producten, naast verschillende open source oplossingen. Tegelijkertijd pasten vakgenoten om ons heen IBM WebSphere, Microsoft BizTalk en producten van Tibco en Software AG toe voor dezelfde uitdagingen en op een heel erg vergelijkbare manier. En naast XML was ook SQL een kernelement; interactie met databases was een vast onderdeel van onze applicaties.

"Integratie was ooit bijna synoniem met Enterprise Service Bus. Berichten ontvangen, valideren, transformeren, doorsturen en de antwoorden verwerken, combineren en in het juiste formaat retourneren"

Aandacht voor integratie?

Hoewel integratie steeds opnieuw cruciaal bleek, kreeg het lang niet altijd de bijbehorende aandacht en erkenning. HTML 5 webapplicaties en Apps op tablet en mobiele telefoon waren vaak aantrekkelijker en begrijpelijker voor management dan dat wat ongrijpbare ‘integratie-gebeuren’.

Een nieuwe richting

Ik denk dat de laatste jaren er meer begrip en waardering is gekomen voor het belang van geoliede, robuuste integratie. Concepten en ambities zoals Internet of Things, digitale transformatie en het streven naar het blootleggen van het goud dat in data schijnt te zitten en ook de moderniseringsgolf die door applicatielandschappen spoelt in het kader van cloudtransformaties en de hybride enterprise architectuur die zich over clouds en on prem-systemen uitstrekt hebben overduidelijk laten zien dat data op de juiste plek op het juiste moment en in de juiste vorm het fundament is voor samenwerking en succes.

"Hoewel integratie steeds opnieuw cruciaal bleek, kreeg het lang niet altijd de bijbehorende aandacht en erkenning"

Integratie bij AMIS

Bij AMIS doen we op dit moment meer en uiteenlopender integratietrajecten dan ooit tevoren. We doen verwerking van signalen uit de fysieke wereld geproduceerd door IoT devices in warmtenetwerken en zonne- en windparken. En publicatie van laboratoriumresultaten met diergezondheidsdata. We registreren winkelaankopen en punten op loyaltycards. Validatie van financiële transacties tegen zwarte lijsten van de Verenigde Naties en de EU. Distributie van data over voorraden, bestellingen, prijzen en aanbiedingen over winkels, distributiecentra en hoofdkantoor. Koppeling van CRM-data in een SaaS-dienst aan verkoop- en klachteninformatie in het on prem ERP-systeem. Uitwisseling van bedrijfsprocesgegevens rond aanhouding en opsporing. Beschikbaar stellen van lab-uitkomsten, klantgegevens en fabricagemetrieken aan teams met data scientists.

Veranderingen in de integratie markt

In vergelijking tot vijftien of zelfs maar vijf jaar geleden zijn er veel heel zichtbare ontwikkelingen geweest. SOAP en XML delen hun prominente positie met (of verliezen deze aan) REST en JSON. De term (Web) Service verliest het van de kreet API. De snelheid en het volume en ook de verscheidenheid aan data die we van A naar B brengen is flink toegenomen, bijvoorbeeld met de real-time verwerking van IoT-berichten. De infrastructuur is steeds verder gevirtualiseerd – van VMs via containers en Kubernetes naar Serverless Functions en managed PaaS -diensten.

In de architectuur denken we vanuit domeinen en microservices en is de rol van events voor verder ontkoppelde interactie gegroeid. Het asynchrone pub/sub denken is door Apache Kafka enorm versterkt. De traditionele scheiding tussen (batch) ETL en “data integratie” enerzijds en “systeem- of applicatie-integratie” is aan het vervagen. Data pipelines en streaming processing, connectors en functions horen zowel bij data engineering als bij enterprise integratie. Naast SQL en Java zijn voor ons NodeJS/JavaScript en Python relevant geworden – met hun respectievelijke ecosystemen van libraries en tools. Data leggen we vast in allerlei soorten data stores – naast de good-old RDBMS – cache, NoSQL document store, graph database en (blob store) data lake. Automatisering van de build en uitrol van software – applicaties en infrastructuur (as code) - is de gewoonste zaak van de wereld. In het kader van DevOps neemt één team de volledige verantwoordelijkheid voor een applicatie: ontwerp, bouw en test én deployment en operatie (en op iedere laag in de stack).

"De snelheid en het volume en ook de verscheidenheid aan data die we van A naar B brengen is flink toegenomen, bijvoorbeeld met de real-time verwerking van IoT-berichten"

Integratie blijft integratie

Ondanks al die nieuwe termen en veranderende technologieën is integratie in de kern hetzelfde gebleven. Als je ervaren bent in het ontwikkelen van integraties, het werken met data en het denken in services en koppelingen, dan heb je een waardevol fundament. Ook als je nog niet volledig de stap naar de cloud hebt gezet, kan lezen en schrijven met containers, microservices of met moderne API management technologie. Of als DevOps nog een wat abstract begrip voor je is of IoT misschien cool klinkt maar ook wat ver van je bed. Als SQL bekender voelt dan NoSQL en SOAP/XML vertrouwder is dan REST/API. Met jouw conceptuele en technische kennis en praktische ervaring is het helemaal niet zo lastig [als het misschien soms wel lijkt] om aan te haken bij de huidige manier van werken en de toegepaste technologie. De essentie van integratie is immers dezelfde al hebben we natuurlijk wel geleerd van de afgelopen 15 jaar en langer.

Doorontwikkeling bij AMIS

AMIS heeft een lange traditie in doorontwikkeling – van onszelf, onze medewerkers en onze klanten. En misschien ook van jou? Als bedrijf zijn we van client/server Oracle naar Java gebaseerde web-applicaties gegaan, hebben we ESB en middleware gebaseerde integratie opgepakt, zijn we rich client web en mobiele applicaties gaan ontwikkelen, hebben we IoT aan ons portfolio toegevoegd en hebben we de stap naar de cloud(s) gezet. Van een bedrijf dat naast platformbeheer vooral software developmentprojecten deed zijn we geëvolueerd naar een partner die vaste DevOps-teams biedt aan haar klanten. Van oudsher zat in de AMIS-gereedschapskist vooral Oracle en open source (Java) technologie. In de afgelopen vijf jaar is die kist verder aangevuld – met bijvoorbeeld het Azure cloud-portfolio, NodeJS, Python, open source technologie voor data engineering en datamanagement – zoals Apache Spark, MongoDB, Elastic Stack, Apache Kafka, Apache Camel, Jupyter Notebooks, Kong, PostgreSQL. En die kist is nog lang niet vol: we zijn altijd geïnteresseerd om nuttige hulpmiddelen voor het oplossen van technische uitdagingen te implementeren.

"Ondanks al die nieuwe termen en veranderende technologieën is integratie in de kern hetzelfde gebleven"

De cloud en integratie

Je vraagt je misschien af: waarom wordt door de cloud alles anders? De cloud doet een aantal dingen. Omdat de meeste clouddiensten worden afgerekend op basis van gebruik zijn enterprise-voorzieningen – bijvoorbeeld voor logging en monitoring, dynamische schaalbaarheid, fail-over, real time data analyse – beschikbaar voor middelgrote en kleine ondernemingen. Dit wordt ook wel de democratisering van IT genoemd. Infrastructuur raakt buiten zicht. In toenemende mate gebruiken we serverless voorzieningen die door de cloudleverancier worden beheerd. Ons integratiewerk wordt meer functioneel, meer op businesswaarde gericht. Schaalbaarheid komt van het cloudplatform en uit onze sterk ontkoppelde, stateless en horizontaal schaalbare architectuur. Automatisering is een must-have. Automatische test- en build en ook automatische uitrol – van applicatie-componenten en ook van platform en infrastructuur. Alles vanuit code, alles via pipelines en geen handmatige acties meer in acceptatie en productie. Leveranciers als Microsoft, IBM, Oracle en Tibco hebben de ontwikkeling van hun on-premises middleware vrijwel stilgezet. Innovatie vindt niet meer plaats in de traditionele landschappen maar in de cloud. Als jij je zelf wilt blijven vernieuwen - dan weet je waar je moet zijn.

De impact van de cloud

Je vraagt je misschien af: waarom wordt door de cloud alles anders? De cloud doet een aantal dingen. Omdat de meeste clouddiensten worden afgerekend op basis van gebruik zijn enterprise-voorzieningen – bijvoorbeeld voor logging en monitoring, dynamische schaalbaarheid, fail-over, real time data analyse – beschikbaar voor middelgrote en kleine ondernemingen. Dit wordt ook wel de democratisering van IT genoemd. Infrastructuur raakt buiten zicht. In toenemende mate gebruiken we serverless voorzieningen die door de cloudleverancier worden beheerd. Ons integratiewerk wordt meer functioneel, meer op businesswaarde gericht. Schaalbaarheid komt van het cloudplatform en uit onze sterk ontkoppelde, stateless en horizontaal schaalbare architectuur. Automatisering is een must-have. Automatische test- en build en ook automatische uitrol – van applicatie-componenten en ook van platform en infrastructuur. Alles vanuit code, alles via pipelines en geen handmatige acties meer in acceptatie en productie. Leveranciers als Microsoft, IBM, Oracle en Tibco hebben de ontwikkeling van hun on-premises middleware vrijwel stilgezet. Innovatie vindt niet meer plaats in de traditionele landschappen maar in de cloud. Als jij je zelf wilt blijven vernieuwen - dan weet je waar je moet zijn.

"Leveranciers als Microsoft, IBM, Oracle en Tibco hebben de ontwikkeling van hun on-premises middleware vrijwel stilgezet. Innovatie vindt niet meer plaats in de traditionele landschappen maar in de cloud"

Groei door bij AMIS

De belangrijkste vraag die ik stel aan potentiële nieuwe collega’s is niet: “welke kennis heb je?” maar: “welke kennis wíl je hebben?” Ben je klaar voor de toekomst en wil je werken met de nieuwste integratietechnieken? Dan ben je van harte welkom bij AMIS. Met onze kennis en ervaring laten we je groeien in je vak, als mens en in de projecten waar je mee bezig bent. We werken samen aan data-intensieve, betekenisvolle en meestal vrij uitdagende systemen voor onze gevarieerde klantenkring.