Stream ETL mit ksql
20.10.2021 18:00 - 20:00

Provider: DOAG Dienstleistungen GmbH

Eine Veranstaltung der DOAG - Deutsche Oracle Anwendergruppe e.V.

Achtung! Dieses Produkt ist eine Sonderanfertigung und vom Umtausch ausgeschlossen!
Achtung! Dieses Produkt ist nicht erhältlich!
Diese/s Konfiguration/Produkt ist nur auf Anfrage erhältlich!
30.00 €
(excl. 19% VAT)
3% Skonto bei Vorkasse
inkl. Mwst.
In stocktag
Amount:
add to basket
Put a question
Discount for membersapplied discount
for all member100%

DOAG DAC WebSession: Stream ETL mit ksql

Referent: Peter Welker, Trivadis

Moderation: Armin Wildenberg und Markus Bente

ETL ist heute (noch?) immer eine reine Batch-Veranstaltung – und das aus gutem Grund:

Effizienz und geringer Overhead, hohe Datenkonsistenz, Nachvollziehbarkeit, niedrigere Komplexität, etablierte Methoden und ein Fundus ausgereifter Werkzeuge machen den Auf- und Weiterbau eines Data Warehouses oder eines Data Lakes (fast schon) zu einem Standard-Job.

Selbst die meisten 'Near-Real-Time' Prozesse (stündlich, viertelstündlich oder 5-minütlich) werden heute durch – kürzere, kleinere und häufiger ausgeführte – Batch-Jobs erledigt, nicht selten exotische 'Außenseiter' in der Riege der täglichen DWH Workflows.

Dabei ist doch zumindest eine zeitnahe Datenextraktion im Stream technisch kein großes Problem: Ob 'Log-based CDC', Json-Streaming via http oder das Abgreifen von Events aus Kafka ist weit verbreitet.

Und auch das permanente Runterschreiben dieser Datenströme in Datenbanken ist kein Hexenwerk.

Wie aber implementiert man darauf komplexe, technische und fachliche Transformationen 'im Stream'? Wie sichert man Datenkonsistenz, wenn die Ankunft der Daten nahezu unvorhersagbar ist?

Wie speichert man diese Datenströme – mit Datenhistorie für spätere Auswertungen – und wie kann man solche Prozesse noch ressourceneffizient umsetzen?

In diesem Vortrag zeigen wir anhand konkreter Projekte, welche Verfahren und Werkzeuge sich eignen, wo deren Vor- und Nachteile gegenüber klassischen Batch-Prozessen liegen und wie eine konkrete Umsetzung eines rein Event-getriebenen Data Warehouses aussehen kann.

The following provisions apply:
Key data
Event Typ
WebSession
Event Duration
90 min.
Please wait