Die Datenplattform der Zukunft ist gleichzeitig dezentral und zentral
Daten sind das Fundament für Prozessautomatisierungen, KI-Lösungen und datengetriebene Geschäftsmodelle. Je mehr Anwendungsfälle auf Basis von Daten im operativen Geschäft umgesetzt werden sollen, desto stärker zeigen sich jedoch die Schwächen rein zentraler Ansätze wie dem Data Warehouse und dem Data Lake. Sie sind nur begrenzt skalierbar und sorgen für organisatorische Bottlenecks. Kein Wunder, dass viele Unternehmen aktuell ihre Datenmanagement-Technologien modernisieren und ihre Data Engineering und Data Science Teams vergrößern. Ein viel beachtetes Konzept für eine neue Ordnung ist das sogenannte Data Mesh. Es kombiniert eine dezentrale Datenhaltung mit zentralen Richtlinien und Plattform-Komponenten.
„Um Daten besser zu nutzen, müssen Unternehmen auf neue technische und organisatorische Prinzipien setzen. Voraussetzung dafür ist eine Strategie, die auch Auswirkungen auf die gesamte Organisation berücksichtigt.“
Die Studie im Überblick
Data Warehouse, Data Lake, Data Lakehouse – die Schwächen zentralisierter Ansätze
Die technische Infrastruktur und die organisatorischen Herangehensweisen für den Umgang mit Daten stehen vor der nächsten Evolutionsstufe. Seit den 1990er Jahren haben Unternehmen Daten für analytische Zwecke in zentralen Datenplattformen gehalten – sogenannten Data Warehouses. Als Reaktion auf das Phänomen rasant wachsender Datenbestände trat das Konzept der Data Lakes hinzu. Es ist als Speicher für beliebige Daten ausgelegt und wird häufig parallel zu einem Data Warehouse, teils auch integriert als Data Lakehouse, betrieben.
Mit der steigenden Zahl vielversprechender Anwendungsfälle für datengetriebene Lösungen zeigen sich die Schwächen zentralisierter Ansätze. Sie sind der wachsenden Zahl an Use Cases nicht gewachsen.
Drei Grundsätze für einen größeren Nutzen von Data & Analytics
Damit Daten einen größeren Nutzen für das operative Geschäft bringen, treiben Data & Analytics-Verantwortliche eine dezentrale Reorganisation ihrer Datenplattform und ihrer Teams voran. Drei Grundsätze motivieren die aktuelle Evolution des Data & Analytics-Bereichs:
- Skalierbare Entwicklung von Daten-Anwendungen
Es muss schnell möglich sein, Lösungen für neue Use Cases zur Datennutzung zu entwickeln und in Betrieb zu nehmen. - Hochqualitative und vertrauenswürdige Daten
Um Daten-Lösungen dauerhaft zu betreiben, muss auch dauerhaft eine hohe Datenqualität sichergestellt sein – kein „Garbage in, Garbage out“. - Effiziente Verwaltung von Daten und Anwendungsfällen
Eine breiter angelegte Bereitstellung und Nutzung von Daten innerhalb einer Organisation erfordert einen höheren Grad an Richtlinien und Standards.
Das Data Mesh geht als neues Architekturparadigma für Datenplattformen auf diese Erfordernisse ein. Nur zwei Prozent der Befragten erwarten durch eine Implementierung keine Vorteile.
Wechselwirkung zwischen dem Data-Mesh-Prinzip und der Arbeitskultur wird unterschätzt
Fast 70 Prozent der Befragten gehen davon aus, dass das Konzept die Datenarchitektur und -technologie ihres Unternehmens verändert. Nur ein Drittel rechnet allerdings auch mit einer veränderten Arbeitskultur – obwohl sie ein Schlüsselelement des Data-Mesh-Konzepts ist.
In Hinblick auf die Einführung eines Data Meshs nehmen große Unternehmen eine Vorreiterrolle ein. Bereits 60 Prozent der Unternehmen mit mehr als 1.000 Mitarbeitenden haben Data-Mesh-Prinzipien zumindest teilweise etabliert. Bei kleineren Unternehmen liegt der Anteil lediglich bei 34 Prozent. Eins von zehn Unternehmen hat das Konzept intern bereits diskutiert, plant aber derzeit keine Einführung.
Auch im Bereich Self Service gibt es Nachholbedarf: Rund 90 Prozent der Firmen verfügen zwar über spezialisierte Teams für die Datenanalyse. Lediglich acht Prozent bieten ihren Mitarbeitenden aber die Möglichkeit, eigenständig und ad hoc Datenanalysen zu erstellen.
Dezentrale Prinzipien einer modernen Datenplattform
Unternehmensbereiche verwalten, verarbeiten und nutzen Daten dezentral
Das Unternehmen definiert Daten-Domänen für Bereiche wie Marketing und Buchhaltung, die Datenobjekte in ihren Bereichen verantworten. Jede Domäne verfügt über einen Daten-Architekten.
Jeder Bereich erstellt und teilt verwertbare Datenprodukte im gesamten Unternehmen
Datenprodukte werden auf einfache Weise für Mitarbeitende innerhalb der gesamten Organisation bereitgestellt. Sie enthalten neben Datensätzen auch Konnektoren zu Quellsystemen, Transformationsschritte, und ein Rechtemanagement.
Autonome, interdisziplinäre Teams erstellen und betreiben Datenprodukte
Hinter jedem Datenprodukt steht ein Team, das in der jeweiligen Datendomäne verortet ist. Es besteht aus einem Product Owner, Fachexperten für den betroffenen Geschäftsprozess, Data Engineers, und bei Bedarf Data Scientists.
Datenproduktteams setzen auf eingespielte DataOps-Praktiken
Datenproduktteams nutzen DataOps – eine Reihe von Praktiken, die effiziente Datenoperationen und qualitativ hochwertige Datenprodukte sicherstellen. DataOps wendet agile und DevOps-Prinzipien auf Data Engineering & Analytics an.
Zentrale Prinzipien einer Next-Gen-Datenplattform
Ein zentraler Datenkatalog enthält alle Metadaten über Daten und Anwendungsfälle
Das Unternehmen richtet einen zentralen Datenkatalog ein. Er schafft Sichtbarkeit für Datenprodukte sowie Rohdaten und bildet gleichzeitig das technische Rückgrat für einen Datenmarktplatz und eine virtuelle Schicht für die Datenintegration.
Über einen Datenmarktplatz lassen sich Datenprodukte einfach finden und abrufen
Ein zentraler Datenmarktplatz erleichtert es den Nutzern, Datenprodukte zu finden und einzusetzen. Der Marktplatz funktioniert ähnlich wie ein Online-Shop und enthält neben einer Suche auch ein Empfehlungssystem.
Der Zugriff auf Datenprodukte ist größtenteils virtualisiert
Um die technische Komplexität der integrierten verteilten Datenprodukte vor den Nutzern zu verbergen, verfügt die zentrale Datenplattform über eine teilweise virtualisierte Integrationsschicht. Sie verbindet die dezentral verwalteten Datenprodukte mit dem zentralen Datenmarktplatz.
Data-Governance-Regeln werden zentral für alle Datenprodukte sichergestellt
Die Organisation richtet die Rolle eines Data Governance Officers ein, der Datenrichtlinien definiert und sie mit den Daten-Architekten einzelner Bereiche sowie den Verantwortlichen von Datenprodukten abgleicht.
Vier Schritte auf dem Weg zur Datenplattform der nächsten Generation
- 1. Management-Support sichern
- 2. Data-Mesh-Grundlagen etablieren
- 3. Fähigkeiten professionalisieren
- 4. Demokratisieren und virtualisieren
1. Management-Support sichern
Die Einführung eines Data Mesh führt nicht nur zu Veränderungen an der Datenarchitektur und -technologie. Sie hat Auswirkungen auf die gesamte Organisation und sollte dementsprechend nicht nur von der IT ausgehen, sondern auch von den Geschäftsbereichen getrieben werden. Um klare Ziele zu setzen, sollten Unternehmen im ersten Schritt eine Data-Mesh-Strategie entwickeln. Erst wenn sich die Unternehmensführung klar zu der Strategie bekennt und sie innerhalb der Organisation kommuniziert wurde, sollte der zweite Schritt beginnen.
2. Data-Mesh-Grundlagen etablieren
Im zweiten Schritt geht es darum, Daten-Domänen für einzelne Geschäftsbereiche zu definieren und die Verantwortung für die Daten in den Bereichen zu verankern. Hier empfiehlt sich eine agile Vorgehensweise, die eine sukzessive Erweiterung um zusätzliche Bereiche ermöglicht. Mit der Bereitstellung erster Datenprodukte lassen sich Erfahrungen über die Zusammensetzung interdisziplinärer Produktteams sammeln. Ein zentrales Plattform-Team sollte in der Zeit einen Datenkatalog anlegen und erste automatisierte Governance-Regeln implementieren.
3. Fähigkeiten professionalisieren
In einem dritten Schritt sollten nach und nach zusätzliche DataOps-Praktiken in die Arbeit der Datenprodukt-Teams Einzug halten. Sie sollen die Effizienz der Teams erhöhen und die Qualität der Datenprodukte sukzessive steigern. Aufbauend auf dem Datenkatalog sollte das Metadatenmanagement so ausgebaut werden, dass es neue Muster und Beziehungen zwischen Datenpunkten automatisch erkennt. Ziel ist es, den Nutzern von Daten eine immer besser integrierte Datenlandschaft zu bieten, die im operativen Geschäft zur Entscheidungsfindung beiträgt.
4. Demokratisieren und virtualisieren
Um die Nutzung und Wiederverwendung der Datenprodukte zu erhöhen, sollten Unternehmen im vierten Schritt einen Marktplatz für Daten einführen. Er sollte es den Nutzern ermöglichen, möglichst einfach relevante Datenprodukte zu entdecken und auf sie zuzugreifen. Während der Datenmarktplatz zunächst für die komfortable interne Bereitstellung von Datenprodukten zuständig ist, lässt er sich perspektivisch auch für externe Partner öffnen, um Daten zu teilen und zu monetarisieren. Mit der Virtualisierung des Zugriffs auf Datenprodukte lassen sich zentrale Daten-Repositories weiter reduzieren.
„Die Dezentralisierung der Datenplattform ist ein wichtiger Schritt, um Data & Analytics-Fähigkeiten im Unternehmen in die Fläche zu bringen und stärkeren Nutzen aus Daten zu ziehen.“
Die Methodik
Grundlage der Studie ist eine Online-Befragung, die zwischen Dezember 2021 und Januar 2022 von PwC Deutschland in Kooperation mit Statista durchgeführt wurde. Teilgenommen haben insgesamt 152 IT-Führungskräfte aus verschiedenen Branchen, deren Unternehmen in Deutschland mit mindestens 500 Mitarbeiter:innen vertreten sind. Die Umfrage bestand aus Multiple-Choice-Fragen, die auf den Reifegrad von Data & Analytics im Unternehmen sowie den Einsatz eines Data Mesh abzielten.
Follow us
Contact us
