Datenentwurfsmuster: Medaillon-Architektur - ist das wirklich eine neue Art, Dinge zu tun?

In diesem Blogbeitrag erfahren Sie, was eine Medaillon-Architektur ist, welche Eigenschaften die einzelnen Schichten dieses Musters haben und wie sie sich von den klassischen Data Warehouse-Schichten unterscheiden.

Was ist Medaillon-Architektur?

Die Medallion-Architektur (auch als Multi-Hop bekannt) ist ein Muster für das Datendesign, das in den letzten Jahren an Popularität gewonnen hat. Das Hauptaugenmerk liegt auf der logischen Organisation von Daten in einem Lakehouse mit allmählichen Qualitätsverbesserungen durch das Fortschreiten zwischen den Schichten, unter Berücksichtigung der Vorteile, die das Lakehouse bietet.

Rohe Ebene/Landezone (optional)

Diese Ebene ist optional, da sie nicht offiziell Teil der Medaillon-Architektur ist. Sie ist jedoch notwendig und wird beim Skizzieren der Architektur oft übersehen. Es handelt sich einfach um ein Speicherkonto/einen Eimer/Container oder einen Ordner, in dem Rohdateien, die aus den Quellsystemen in verschiedenen Formaten extrahiert wurden, vorübergehend gespeichert werden.

Seine Optionalität ergibt sich aus der Möglichkeit, die Daten aus verschiedenen Datenextraktionstools (z.B. Streaming-Daten) direkt zu Bronze zu pushen.

Bronzeschicht

Die Bronzeschicht, die auch als Rohschicht bezeichnet wird, ist ein Ort, an dem wir die Daten in ihrem ursprünglichen Zustand speichern (sowohl Batch als auch Streaming), was bedeutet, dass die Daten unveränderlich sein sollten (wenn die Daten jedoch jeden Tag vollständig neu geladen werden, kann es zu Datenlöschungen kommen).

Sein Hauptzweck besteht darin, einen Ort zu haben, an dem die gesamte Datenhistorie auf einmal gespeichert werden kann, so dass bei Bedarf eine erneute Verarbeitung möglich ist, ohne dass die Daten aus dem Quellsystem erneut gelesen werden müssen.

Hier ist keine Datenumwandlung erlaubt, sondern nur das Hinzufügen von Metadatenspalten (z.B. Name der Eingabedatei, Datum der Aufnahme usw.).

Diese Ebene dient hauptsächlich als technische Ebene. Ich bin jedoch auf Situationen gestoßen, in denen Geschäftsanwender von der Historie der Daten profitieren können - insbesondere, wenn sie den Zustand der Quelltabellen zu einem bestimmten Zeitpunkt vergleichen können.

Silberne Schicht

Bevor die Daten in die Silberschicht aufgenommen werden, sollten sie dedupliziert, fixiert und im richtigen Format vorliegen. Hier können auch die Regeln für die Datenqualität angewendet werden.

Mit einfachen Worten: Die Silberschicht enthält bereinigte und angepasste Daten, die von operativen, analytischen und maschinellen Lernprozessen genutzt werden können.

Ein paar Punkte, die Sie beachten sollten, wenn Sie über die Silberschicht nachdenken:

Goldschicht

In dieser Schicht sollten die Daten für bestimmte Geschäfts- und Analysezwecke nutzbar sein.

Es ist für die Berichterstattung vorbereitet und verwendet denormalisierte und leseoptimierte Modelle, die höchste Qualität, Benutzerfreundlichkeit, Governance und Dokumentation aufweisen.

Zusammenfassung

Lassen Sie uns nun einen Schritt zurückgehen und uns ansehen, wie die klassischen Data Warehouse-Schichten aussahen. Wir hatten auch drei (manchmal mehr) Datenschichten wie Staging (STG), Operational Data Store (ODS) und Data Warehouse (DWH). Jede dieser Schichten hatte ihren eigenen Zweck, der der Medallion-Architektur sehr ähnlich war. Sagt Ihnen das etwas? Für mich ist die Medallion-Architektur einfach eine weitere Iteration eines Konzepts, das wir bereits aus der Datenwelt kennen, das aber an moderne Warehousing-Lösungen angepasst wurde.

Beim Lesen all dieser Do's und Don'ts denken Sie vielleicht: "Das passt nicht in mein Szenario, ich muss es anders machen, mit einer anderen Namensgebung, mit mehr Ebenen". Aber können Sie es tatsächlich tun? Auf jeden Fall.

Alle Data Design Patterns wurden erfunden, um eine Art Standard vorzuschlagen (ohne den es nur Chaos gäbe), aber es ist unmöglich, etwas zu erfinden, das perfekt ist. Es liegt vor allem an Ihnen zu entscheiden, welchen Weg Sie mit Ihrem Data Warehouse-Designmuster einschlagen wollen, wobei Sie die Vorteile und Risiken im Auge behalten und die Medallion-Architektur als Ausgangspunkt für ein modernes Data Warehouse betrachten. Das Wichtigste ist jedoch, dass Sie das gewünschte Muster als einen unternehmensweiten Satz von Standards und bewährten Verfahren behandeln.