4 praktische Erkenntnisse aus der Implementierung des Data Mesh | Xebia

Wie viel von Ihren Datenpraktiken sollten Sie an verschiedene Teams dezentralisieren? Welche Kontrollen behalten Sie in einem zentralen Team? Wie organisieren Sie den dezentralen Besitz von Daten? Dies sind Fragen, die unsere Kunden jede Woche an unsere Berater stellen. Bei unserem letzten CDO-Dinner beispielsweise diskutierten die Führungskräfte lieber über Selbstbedienungs-Organisationsstrukturen als über GenAI - und das, obwohl GenAI boomt! Für sie liegen die wirklichen Datenprobleme in der organisatorischen Umgestaltung, und genau hier kann das Data Mesh-Konzept etwas Licht ins Dunkel bringen.  

Wenn auch Sie ähnliche Fragen haben, lesen Sie weiter, um zu erfahren, was das Datennetz für Ihr Unternehmen tun kann. Sehen Sie sich unser Webinar an Data Mesh - Wo stehen wir?

Data Mesh - Wo stehen wir jetzt? 

Das Data Mesh ist ein Architekturparadigma, das die Dezentralisierung Ihrer Datenpraxis befürwortet, um sie so skalierbar wie möglich zu machen. Die Idee ist, einen zentralen Engpass in einem hochspezialisierten Ingenieurteam zu beseitigen, indem man dezentralen Teams mehr Autonomie einräumt. Zhamak Dehghani hat dieses Konzept bereits 2019 vorgestellt, und seitdem hat es viele Entwicklungen gegeben.  

Viele Unternehmen haben in den letzten 5 Jahren die Organisationsstruktur des Datennetzes mit gemischten Ergebnissen eingeführt. Und viele tun sich noch immer schwer mit der Einführung dieser Struktur. Hier sind vier wichtige Erkenntnisse, die wir auf der Grundlage unserer Kundenerfahrungen zusammengestellt haben.  

Erstens hat fast niemand das Konzept so umgesetzt, wie es ursprünglich gedacht war, d.h. alles dezentral zu erledigen (Szenario 5 in Abbildung 1). Wir haben alle möglichen Variationen gesehen, die von der Größe des Unternehmens, seiner Vision von Selbstbedienung und dem Reifegrad der Datennutzer abhängen. Während unerfahrene Benutzer sich vielleicht mit gebrauchsfertigen Dashboards zufrieden geben, die von einem zentralen Team angeboten werden, benötigen reifere Benutzer die Möglichkeit, Daten selbst zu kombinieren und umzuwandeln.  

 
Abbildung 1: Verschiedene Dezentralisierungsszenarien. 

Nur große Unternehmen mit einer hohen Datenreife und großen Investitionen in Daten setzen das vollständige Datennetz erfolgreich ein (Szenario 5). Für kleinere Unternehmen ist es ratsamer, eine Variante des Data Mesh zu wählen, die Ihren Bedürfnissen entspricht. Wenn Ihr Unternehmen wirklich klein ist, ist es wahrscheinlich besser, es überhaupt nicht zu implementieren. Letztendlich hängt Ihre Entscheidung, das Data Mesh-Konzept zu implementieren, davon ab, wie viele Teams Sie zur Selbstbedienung benötigen und wie ausgereift diese Teams sind.  

Zweitens haben einige Unternehmen ein Hub-and-Spoke-Modell dem Data Mesh vorgezogen. Was die Infrastruktur betrifft, sind diese beiden Modelle sehr ähnlich. Beim Hub-and-Spoke-Modell ist die Gewährung des Zugriffs und die gemeinsame Nutzung von Daten durch die Abteilungen jedoch immer noch sehr zentralisiert. Im Datengeflecht können die Abteilungen selbst entscheiden, wo, wann und mit wem sie Daten austauschen möchten.   

Drittens hat der Tech-Stack bei der Unterstützung der Dezentralisierung der Architektur einen großen Schritt nach vorne gemacht. Um die Kontrolle über ein dezentrales Datennetz zu behalten, ist die Sammlung und Analyse von Metadaten entscheidend. Zu den Tools, die wir gerne für die Implementierung des Datennetzes verwenden, gehören dbt, das die Abstammung von Daten bei Transformationen verfolgt, und ein Katalog wie data.world, mit dem Sie die Beobachtbarkeit Ihrer Datenprodukte durch die zentrale Visualisierung von Metadaten erhöhen können.  

Viertens: Datenkompetenz ist der Schlüssel zur Implementierung des Datennetzes. Die Einführung von Self-Service in der gesamten Organisation erfordert fortgeschrittene Schulungen für Benutzer, Entwickler oder Kerningenieure. Darüber hinaus ist das Verständnis von Datenmanagement- und Governance-Praktiken unerlässlich, damit die Mitarbeiter wissen, wie sie mit Problemen der Datenqualität oder der Datenverantwortung umgehen sollen. Alle müssen sich darüber im Klaren sein, was es bedeutet, ein Datenprodukt zu verwalten.  

Also, wo soll ich anfangen? 

Wie Sie sehen, ist die Implementierung des Datennetzes nicht einfach. Wir empfehlen immer, mit einer soliden Datenstrategie zu beginnen, um zu entscheiden, welche Struktur zu Ihrem Unternehmen passt und auf welche Weise. Dann werden die richtigen Investitionen in Menschen, Prozesse, Daten und Technologie Ihnen helfen, das Modell erfolgreich umzusetzen. Bitte unterschätzen Sie nicht, dass dies eine erhebliche Veränderung der Arbeitsweise bedeutet. Die Unterstützung durch die Geschäftsleitung und eine klare Kommunikation sind entscheidend.  

Wenn Sie mehr darüber erfahren möchten, wie Data Mesh in der Praxis umgesetzt wird, sehen Sie sich unser On-Demand-Webinar an Data Mesh - Wo stehen wir? In diesem Webinar erläutern wir, wie sich das Data Mesh-Konzept in den letzten 5 Jahren entwickelt hat und wie Ihr Unternehmen davon profitieren kann. Drei erfahrene Praktiker teilen ihre Erkenntnisse und beantworten alle Ihre Fragen. Wir hoffen, Sie dort zu sehen!

Co-Autor: Juan Vegenas