50 Shades of Data(base)

Data is het nieuwe goud. In elk geval is data het levensbloed van iedere moderne organisatie. Om data vast te leggen, te verwerken en te analyseren, maken we al decennialang gebruik van relationele databases. Oracle is daarvoor de meest gebruikte. Relationele databases, met hun SQL engine en ACID-mechanisme voor het verwerken van transacties, werden lange tijd gebruikt voor vrijwel alle datatoepassingen. Voor veel organisaties voldeed zelfs slechts één enterprise database waarin alle data werd vastgelegd.

Onder invloed van internet en e-commerce is de schaal van dataverwerking sterk toegenomen. De eisen aan performance en beschikbaarheid zijn zo mogelijk nog verder aangescherpt – ook in verband met mobiele applicaties. Door Internet of Things, Fast (near-real-time) Data, Big Data en Machine Learning is de toepassing van data nog verder uitgebreid. In dit gevarieerde landschap van diverse soorten data en uiteenlopende toepassingen van die data, is de relationele database niet langer meer de enige one-size-fits-all data store.

Optimalisatie voor een specifieke use case

Architecten, ontwikkelaars en platformspecialisten realiseren zich in toenemende mate dat specifieke eisen en scenario’s ook bepalen welke database engine wordt ingezet. Een webshop met miljoenen bezoekers en zoekvragen heeft behoefte aan een read-only engine die is geoptimaliseerd voor het snel afhandelen van fuzzy searches. Het liefst met produceren van resultaten in JSON-formaat die de browser eenvoudig kan verwerken. Voor het vastleggen van grote hoeveelheden Big Data ten behoeve van het ontwikkelen van Machine Learning modellen, is een Hadoop file-systeem vaak de best passende oplossing. Dit vanwege de schaalbaarheid en de gedistribueerde analyse op zeer grote schaal. Als een aanbeveling moet worden gegeven op basis van bestaande relaties en netwerken is een read-only graph database waarschijnlijk een hele goede oplossing. Ook nieuwe architectuurpatronen als microservices, CQRS (command query responsibility segragation) en event sourcing geven aanleiding tot het naast elkaar toepassen van meerdere en verschillende soorten databases.

Hybride landschap

Waar we in het verleden vaak in alle gevallen de relationele database als enige oplossing inzetten, zien we nu een hybride landschap met een combinatie van verschillende databases, elk geoptimaliseerd voor een specifieke use case. Overigens is hierin vrijwel altijd een relationele database nog steeds een cruciale schakel – als transactieverwerkend systeem en bron voor alle afgeleide systemen. In dit landschap is nu de uitdaging om de data tijdig, veilig en betrouwbaar te distribueren over alle betrokken databases zodat elke database op gepaste wijze aan de vragen kan voldoen.