adesso BLOG

Change Data Capture (CDC) ist eine Technik, die alle Datenänderungen in einem Datenarchiv erfasst, sammelt und für die Übertragung und Replikation in andere Systeme aufbereitet, entweder als Batch-Prozess oder als Stream. Dieser Blog-Beitrag konzentriert sich auf die Anwendung von CDC in Data Lakehouses am Beispiel von Change Data Feed, einer Variante von CDC, die von Databricks im Rahmen von Delta-Lake-basierten Data Lakehouses entwickelt wurde.

In einem verteilten Softwaresystem stellen Datenänderungen immer eine Herausforderung dar. Wie ist es möglich, die Änderungshistorie von Daten, die sich in einem Teil des Systems befinden, zu verfolgen, um angeschlossene Datenspeicher in anderen Teilsystemen zu synchronisieren? Eine Antwort auf diese Frage bietet Change Data Capture (CDC). Was es damit auf sich hat, erkläre ich in diesem Blog-Beitrag.

Täglich kämpfen Mitarbeitende mit manuellen Berichtsprozessen, die hohe Personalkosten, eingeschränkte Prozessoptimierungsmöglichkeiten und Qualitätsmängel verursachen. Trotz der entscheidenden Bedeutung von Kennzahlen für das Management sind manuelle Berichtsprozesse in der Produktion weit verbreitet. In diesem Blog-Beitrag erkläre ich, warum Unternehmen im IIoT-Bereich mit dem Produktionsreporting beginnen.

Metadatengesteuerte Datenpipelines sind ein Gamechanger für die Datenverarbeitung in Unternehmen. Diese Pipelines nutzen Metadaten, um Prozesse dynamisch zu aktualisieren, anstatt bei jeder Änderung einer Datenquelle jeden Schritt manuell zu überarbeiten. Wie auch bei den Datenpipelines kann die Pflege der Metadaten einen Engpass bei der Wartung und Weiterentwicklung eines Pipeline-Frameworks darstellen. In diesem Blog-Beitrag zeige ich anhand praktischer Beispiele, wie die Template-Sprache Jsonnet die Pflege von Metadaten erleichtert.

Workflow-Orchestrierung und Workflow-Engines sind entscheidende Komponenten in der modernen Datenverarbeitung und Softwareentwicklung, insbesondere im Bereich der Künstlichen Intelligenz (KI). Diese Technologien ermöglichen es, verschiedene Aufgaben und Prozesse innerhalb komplexer Datenpipelines effizient zu verwalten und zu koordinieren. In diesem Blog-Beitrag stellen wir Prefect vor, ein intuitives Tool zur Orchestrierung von Workflows in der KI-Entwicklung.

In der sich ständig weiterentwickelnden Welt der Datenanalyse und des Datenmanagements spielt Snowflake eine herausragende Rolle, die das Gesicht der Branche nachhaltig beeinflusst. Dieser Blog-Beitrag befasst sich mit der Entwicklung von Snowflake und warum es als bahnbrechende Lösung für Unternehmen gilt.

Vor der Einführung von Computern verwendeten Unternehmen Geschäftsbücher, Inventarlisten und Intuition, um Kennzahlen zu erfassen. Ende der 1980er Jahre entstand das Data Warehouse für statische Berichte. Die Digitalisierung brachte neue Herausforderungen mit sich. Big Data überforderte traditionelle Data Warehouses, weshalb Unternehmen Data Lakes einführten, die sich aber auch auf die Architektur und die Konzepte von Analysesystemen auswirkten. Im ersten Teil dieses Blog-Beitrags geht es um deren Entwicklung, die Gründe für ihre Entstehung und die gelösten Probleme.

Im ersten Teil dieses Blog-Beitrags haben wir uns mit den Grundlagen von Data Warehouses und Data Lakes beschäftigt, um ihre Vorteile und Grenzen zu verstehen. In diesem Teil geht es um die Entwicklung hin zu einer hybriden Lösung - dem Data Lakehouse. Wir betrachten die Entwicklung der Datenstrukturen von der zweischichtigen Architektur bis zur Entwicklung des Lakehouse-Konzepts. Ihr erfahrt, wie das Lakehouse die Stärken von Data Lakes und Data Warehouses kombiniert, um die datengetriebenen Herausforderungen von heute zu bewältigen.

In einer zunehmend digitalisierten Welt wird das zielgerichtete Sammeln, Verstehen und Nutzen von Daten zum Erfolgsfaktor. Wer das weiterhin ignoriert, verliert im Zeitalter der Digitalisierung wichtiges Kapital für die Wettbewerbsfähigkeit und Innovationskraft. In meinem Blog-Beitrag erkläre ich, wieso eine Data Governance für Unternehmen wichtig ist und wie adesso in diesem Bereich unterstützen kann.