Verkenning van tools en technologie voor CQRS en datareplicatie

CQRS (Command Query Responsibility Segregation) is een architectuurpatroon dat simpelgezegd stelt dat de datastore die data ontvangt en manipulaties verwerkt, niet dezelfde hoeft te zijn als de engine die query’s beantwoordt. Er zijn  verschillende redenen – van performance en beschikbaarheid tot schaalbaarheid, security, en (licentie)kosten – waarom je een C-database en een of meerdere Q-bronnen in een architectuur opneemt.

PRAKTIJKVoorbeelden

• Een webshop gebruikt MongoDB (en nu ook Elastic Search) met een vanuit de Oracle OLTP database gegenereerde verzameling JSON-documenten die vanuit de website kunnen worden gequeried.
• Een industrieel bedrijf gebruikt een Elastic Search index met een subset van data uit het ERP-systeem om de (read-only) JET gebaseerde webapplicatie van data te voorzien.
• Een logistieke dienstverlener heeft een aparte Oracle database die wordt gevoed vanuit alle terminalspecifieke databases met data voor de VTTEye webapplicatie voor externe gebruikers. Ieder data warehouse of data lake kan je als een vorm van CQRS beschouwen.

In deze sessie gaan we kijken naar de implementatie van CQRS. Wat zijn uitdagingen, wat zijn criteria voor de selectie van tools en technologie? Welke tools en technologie zijn beschikbaar en worden veel toegepast en welke van die middelen zijn of lijken geschikt voor ons portfolio?

In kleine groepjes gaan we in meer detail kijken naar concrete aanpakken, tools en technologie om tot eerste meningen en selecties te komen. Aan het eind van de sessie delen we onze bevindingen.

We kijken naar uitdagingen zoals:

• Hoe detecteer je relevant changes in de command-store (polling, native notification mechanisme, event sourcing, …) en hoe extraheer je snel/efficiënt de data die moet worden gerepliceerd?
• Hoe transporteer je de data van command-source naar query-target – betrouwbaar, veilig, snel (genoeg) en met de juiste consistentie (volgorde, idem-potency, verliesloos?
• Hoe doen we (formaat-)conversie of verrijking van data (indien nodig)?
• Hoe kies je het database product voor de query-stores? Wat zijn voor de hand liggende opties?
• Hoe voer je wijzigingen door in de query-target store?

Technologieën en  tools die aan bod komen zijn:

• Oracle Database (Golden Gate/Data Integration Platform Cloud, Log Mining, Flashback Query, DB Query Result Change Notification, Custom Triggers, Materialized Views, DB Visit Replication)
• Debezium
• StreamSets
• Kafka Connect
• Attunity
• Apache Flink
• Alooma
• Query store implementaties: Elastic Search, MongoDB, Neo4J, PostgreSQL
• Alternatieve Command store implementaties (naast Oracle Database): Apache Cassandra, Elastic Search Index, Kafka

Doelgroep

(integratie-)Ontwikkelaars, DBAs, platformspecialisten, applicatie-architecten

deelnemen

Vergeet niet een laptop mee te brengen.

Wil je bij deze kennissessie op 21 juni aanwezig zijn? Stuur dan een mail naar marketing@amis.nl met de vermelding 'Aanmelding Verkenning van tools en technologie voor CQRS en data replicatie 21 juni'.  Aan deelname zijn geen kosten verbonden.

Wij zorgen voor het diner. Heb je dieetwensen? Geef dat dan aan in de mail. Ken je iemand voor wie deze avond ook interessant is? Dan is diegene natuurlijk ook van harte welkom. Laat diegene zich wel even zelf aanmelden in verband met de catering en het totaal aantal beschikbare plekken voor deze sessie.