Fragen, die wir immer wieder hören: Warum brauchen wir dbt, wenn wir DAX haben?

Als Berater arbeiten wir tagein, tagaus mit vielen Kunden zusammen. Viele Kunden bedeuten viele Fragen, die wir beantworten müssen. Und weil das schnell ermüdend werden kann, haben wir begonnen, unsere Antworten in einer Blogserie zu sammeln. Im letzten Beitrag haben wir mit der Beantwortung dieser Fragen begonnen;
Warum Sie nicht nur Rohdaten abfragen sollten
. Dieses Mal beleuchten Bo Lemmers, Analytics Engineer bei Xebia, und Mike Kamysz, Data Engineer bei The Data Institute, den uralten Kampf zwischen Tools und Philosophien: "Warum brauchen wir dbt, wenn wir DAX haben?".

Auf dem Papier scheint diese Frage unschuldig zu sein. Sogar logisch. Denn wenn Ihr BI-Tool Ihnen die Möglichkeit bietet, Transformationen mit etwas wie DAX (oder LookML oder wie auch immer ein Tool seine Transformationsfunktionen nennt) durchzuführen, warum sollten Sie dann ein völlig separates Tool wie dbt für Datentransformationen benötigen? Aber lassen Sie uns an dieser Stelle aufhören: Dies ist nicht nur eine Tool-Debatte. Es geht um Strategie, Skalierbarkeit und darum, die Dinge gleich beim ersten Mal richtig zu machen.

Warum Menschen in den DAX strömen

Lassen Sie uns mit dem Warum beginnen. Als Einzelperson mit einer brennenden Datenfrage werden Sie vielleicht von den Liedern der Vertriebsmitarbeiter angelockt, die Ihnen versprechen, dass diese Generation von BI-Tools mit Sicherheit alle Ihre Bedürfnisse abdecken kann. Sei es PowerBI mit DAX, Looker mit LookML, Tableau oder etwas anderes - zumindest ist es nicht Excel, oder? Lassen Sie uns also einen Blick auf die Faktoren werfen, die diese Tools so attraktiv machen können.

• • Schnell zu Ergebnissen: Transformationen in einem BI-Tool fühlen sich schnell an. Sie möchten diese Spalte summieren, ein Verhältnis berechnen oder ein Zeitreihenmodell erstellen? Geben Sie eine DAX-Formel ein, und Sie haben in wenigen Minuten ein Diagramm fertig. Kein Ticket erforderlich. Und schon gar keine langwierigen Überprüfungsprozesse. Einfach nur eine schlichte, einfache und schnelle Analyse.

• • Alles aus einer Hand: Ihr Unternehmen hat höchstwahrscheinlich ein BI-Tool lizenziert. Sie verwenden es bereits, um Dashboards zu erstellen. Warum also nicht auch die Datentransformationen mit demselben Tool durchführen? Alles bleibt in sich geschlossen und es sind keine komplexen Pipelines erforderlich, um Daten von A nach B zu bringen.

• • Niedrige Einstiegshürde: Die meisten BI-Tools verfügen über benutzerfreundliche Oberflächen und integrierte Funktionen zum Schreiben von Formeln. Für Menschen, die von SQL, Git oder Befehlszeilenschnittstellen eingeschüchtert sind, beseitigt dies viele der Hürden für den Einstieg in die Arbeit mit Daten und ist ideal für Analysten, die schnelle Einblicke wünschen.

   

  • Die Optionen sind da: Tableau, PowerBI und Looker bieten direkte Verbindungen zur Synchronisierung von Daten aus Ihren operativen Tools (wie z.B. Google Analytics, Salesforce, etc.). Sie sind also so konzipiert, dass Sie alle Ihre Anforderungen an die Datenbereinigung, -umwandlung und -zusammenführung mit ihren Funktionen erfüllen können.

   

  BI-Tools sind die Traummanifestation eines schnellen und unkomplizierten Arbeitsablaufs. Aber wie die meisten Abkürzungen haben auch sie ihre Grenzen. Und wenn diese Grenzen erreicht sind, dann ist das ein harter Schlag.

  Das Problem, wenn Sie alles in Ihrem BI-Tool erledigen

  Kommen wir gleich zur Sache: Sich allein auf ausschließlich auf DAX (oder eine andere BI-spezifische Transformationssprache) zu setzen, um Ihre Daten zu transformieren, ist wie ein Haus auf einem Sumpf zu bauen (ich schaue euch Holländer an). Am Anfang mag das noch funktionieren, aber wenn die Komplexität zunimmt, ähnlich wie in Amsterdam, als man für eine neue U-Bahn-Linie unter der Altstadt gegraben hat, dann wird das sehr schmerzhaft für Sie. Hier ist der Grund dafür:

  Duplizierte Logik: Kopieren-Einfügen-Chaos

  BI-Tools sind nicht für die Verwaltung komplexer, gemeinsamer Logik in mehreren Berichten oder Dashboards ausgelegt. Das passiert in der Regel folgendermaßen: Sie erstellen eine DAX-Berechnung für "Monatlich aktive Benutzer", aber später erstellt jemand anderes ein anderes Dashboard und erstellt dieselbe Logik von Grund auf neu. Dies geschieht, weil DAX-Berechnungen nicht automatisch in verschiedenen Berichten wiederverwendet werden können. Die Wiederverwendung ist zwar möglich, wird aber nicht erzwungen, was zu doppelter Logik und Inkonsistenzen führt. Dann könnte ein drittes Team die Logik geringfügig ändern (ohne Sie zu informieren), was zu einem Metrik-Drift führt, bei dem sich die Versionen aller Beteiligten von der gleichen Metrik gerade so weit unterscheiden, dass es zu Verwirrung und Fehlern kommt. Plötzlich widersprechen sich Ihre Berichte und das Vertrauen in die Daten geht in den Keller.

  Mit einer Transformationsschicht wie dbt wird Ihre Logik in Ihren Datenmodellen zentralisiert, wodurch konsistente und standardisierte Definitionen im gesamten Unternehmen gewährleistet werden. Das bedeutet, dass alle Mitarbeiter mit denselben Definitionen arbeiten, wodurch Diskrepanzen verringert und eine einheitliche Analyse gewährleistet wird.

  Engpässe bei der Leistung

  Es ist nicht so schnell, wie Sie denken. BI-Tools sind für die Visualisierung von Daten optimiert, nicht für deren Umwandlung. Wenn Sie Ihr BI-Tool mit umfangreichen Transformationen, komplexen Joins oder umfangreichen Berechnungen belasten, kann es unschön werden:

  1. Langsame Abfragen: Wenn Sie sich bei der Abfrage von Rohdaten und der Durchführung von Transformationen ausschließlich auf Ihr BI-Tool verlassen, kann dies schmerzhaft langsam sein, insbesondere bei großen Datensätzen. Wir haben bereits in einem früheren Beitrag darüber berichtet, warum die Abfrage von Rohdaten eine schlechte Idee ist.
  2. Überlastung der Ressourcen: Die Transformation von Daten in der BI-Schicht verlagert die Rechenlast auf Ihr BI-Tool, das dafür nicht ausgelegt ist. Ihre Dashboards werden langsam, und Ihre Benutzer sind frustriert. Die Datensätze können zu groß werden, um sie schnell in den Cache des Tools zu laden. Im Gegensatz dazu verschiebt eine Transformationsschicht die Daten in Ihr Data Warehouse, wo die Rechenleistung im Überfluss vorhanden und für die Datenumwandlung optimiert ist. Das Ergebnis? BI-Tools können sich auf das konzentrieren, was sie am besten können: die Visualisierung von Daten.

  Datenabfolge: Was ist hier los?

  Haben Sie schon einmal ein BI-Dashboard geöffnet und gedacht: "Woher kommt diese Zahl?" Willkommen im Land der Unsichtbarkeit. In BI-Tools sind Transformationen oft in Formeln, berechneten Feldern oder Ebenen von Diagrammen versteckt. Das macht es fast unmöglich, den Ursprung Ihrer Metriken zurückzuverfolgen oder Probleme zu beheben. Wenn etwas nicht funktioniert, haben Sie viel Glück, um herauszufinden, wo oder warum. Mit einer Transformationsschicht wie dbt ist jede Transformation in SQL geschrieben und versionskontrolliert, so dass die Datenverknüpfung sehr klar ist. Sie können jede Spalte bis zu den Rohdaten zurückverfolgen und so für Transparenz und Verantwortlichkeit sorgen.

  Skalierbarkeit: Viel Glück beim Wachsen

  Die Umwandlung von BI-Tools funktioniert gut, wenn nur Sie oder ein kleines Team ein paar Dashboards erstellen. Aber wenn Ihr Unternehmen wächst, nimmt auch die Komplexität zu: Mehrere Teams wollen dieselben Metriken verwenden. Das Datenvolumen wächst, und die Leistung der BI-Tools leidet. Um einen transparenten und gut dokumentierten Prozess für die Umwandlung von Daten zu gewährleisten, ist Governance erforderlich. Plötzlich lässt sich das, was für eine Person in DAX funktioniert hat, nicht mehr auf das gesamte Unternehmen übertragen. dbt löst dieses Problem, indem es Transformationen zentralisiert und automatisiert und so Konsistenz und Skalierbarkeit gewährleistet, egal wie groß Ihre Daten oder Ihr Team werden.

  Warum eine Transformationsschicht das fehlende Stück ist

  Nachdem wir nun erläutert haben, warum die Transformation von Daten direkt in Ihrem BI-Tool eine heikle Angelegenheit ist, lassen Sie uns darüber sprechen, warum eine Transformationsschicht, z.B. dbt, der Held ist, den Sie zusätzlich zu Ihrem BI-Tool brauchen:

  Zentralisierte Logik für Konsistenz

  Ihre gesamte Transformationslogik befindet sich an einem Ort: im Data Warehouse. So wird sichergestellt, dass jeder mit denselben Daten arbeitet: Es gibt keine doppelte Logik oder Metrikabweichungen mehr. Jeder Bericht wird aus der gleichen, vertrauenswürdigen Quelle erstellt. Außerdem überträgt dbt alle Transformationen in Ihr Data Warehouse und nutzt so dessen Rechenleistung. Das bedeutet:

  • Vordefinierte Metriken: In einem Modell nach Kimball werden wichtige Kennzahlen (z.B. Umsatz, Kundenzahl) einmal definiert und berechnet. Dadurch wird das Risiko widersprüchlicher Ergebnisse vermieden und sichergestellt, dass jeder dieselben Definitionen verwendet.
  • Zentralisierte Datenlogik: Die gesamte komplexe Geschäftslogik - z. B. wie wir "aktive Benutzer" oder "Abwanderung" definieren - ist im Datenmodell enthalten. Das bedeutet, dass Analysten diese Berechnungen nicht jedes Mal neu erstellen müssen, wenn sie die Daten abfragen.

  Vorregistriert und für Leistung optimiert

  In einem Data Warehouse werden die Rohdaten in Tabellen umgewandelt, die für Abfragen optimiert sind. In einem Data Warehouse im Kimball-Stil speichern Faktentabellen beispielsweise Transaktionsdaten (z.B. Verkaufstransaktionen), während Dimensionstabellen beschreibende Informationen (z.B. demografische Daten von Kunden) speichern. Dieses Design unterstützt schnelle, effiziente Abfragen.

  • Schnellere Dashboards: BI-Tools arbeiten mit voraggregierten, optimierten Datensätzen, so dass Dashboards in Sekunden und nicht in Minuten geladen werden.
  • Kosteneffizienz: Warehouses wie Snowflake und BigQuery sind für schweres Heben konzipiert, so dass Transformationen schneller und billiger sind als in Ihrem BI-Tool.

  Qualitätstests zur richtigen Zeit

  Mit dbt können Sie Tests für fehlende Werte, Duplikate, Schemaänderungen und unerwartete Anomalien hinzufügen. Durch frühzeitiges Erkennen von Problemen in der Transformationsphase stellt dbt die Datenintegrität sicher, bevor sie Ihr BI-Tool erreichen. Wenn eine wichtige Kennzahl plötzlich abfällt oder eine Datenquelle nicht mehr funktioniert, weist dbt proaktiv auf das Problem hin und verhindert so falsche Einblicke, bevor die Benutzer des Dashboards dies überhaupt bemerken.

  Versionskontrolle und Dokumentation

  Jedes dbt-Modell ist versionskontrolliert und dokumentiert, so dass Sie es nutzen können:

  • Rückverfolgbarkeit: Sie wissen genau, wie jede Kennzahl berechnet wird und woher sie stammt. Die Dokumentations- und Abstammungsfunktionen von dbt erleichtern die Einhaltung von Compliance-Anforderungen und die Beantwortung von Fragen wie "Wie sind wir zu dieser Zahl gekommen?"
  • Zusammenarbeit im Team: Mehrere Personen können zu denselben Transformationen beitragen, ohne sich gegenseitig auf die Füße zu treten.

   

  Aber was ist mit DAX?

  Verstehen Sie uns nicht falsch: DAX (und andere Sprachen zur Transformation von BI-Tools) haben ihre Berechtigung. Sie eignen sich hervorragend für schnelle Berechnungen auf der letzten Meile, für Dinge wie benutzerdefinierte Kennzahlen, Ad-hoc-Metriken, die nur für einen einzigen Bericht gelten, und vor allem für dynamische Berechnungen. Hier finden Sie einen klaren Überblick darüber, was in DAX und was in dbt verwendet werden sollte:

   

  Aufgabe	dbt (Transformationsschicht)	DAX (oder LookML, etc.)
  Datenumwandlung & Bereinigung	Bereinigt, bereitet auf und standardisiert Daten vor dem Laden in BI-Tools.	❌ Konzentriert sich auf Berechnungen und Aggregationen innerhalb eines BI-Tools.
  Joins & Komplexe Operationen	Erledigt Joins, Unions und SQL-Transformationen auf Data Warehouse-Ebene.	❌ Nicht ideal für komplexe Verknüpfungen
  Aggregationen & Geschäftslogik	✅ Aggregiert Daten vor und wendet Geschäftsregeln für Konsistenz an.	✅ Dynamische Berechnungen auf der Grundlage von Filtern, Slicern und Benutzerinteraktionen.
  Datum/Zeit-Berechnungen	✅ Führt zeitbasierte Transformationen durch, bevor die Daten die BI-Tools erreichen.	✅ Nutzt integrierte Time Intelligence-Funktionen (z.B. YTD, MTD) für dynamische Berichte.
  Langsam wechselnde Dimensionen (SCD) & Historische Daten	✅ Verwaltet historische Daten und SCDs auf Data Warehouse-Ebene.	❌ Nicht für den Umgang mit historischen Änderungen oder SCDs konzipiert.
  Zentralisierte Metrik-Definitionen & Data Marts	✅ Schafft eine einzige Quelle der Wahrheit für eine konsistente Berichterstattung.	⚠️ Limited: Verwendet DAX zur dynamischen Berechnung von KPIs in Berichten basierend auf dem Filterkontext. (nicht zentralisiert)
  Benutzergesteuertes Filtern & dynamische Berechnungen	❌ Konzentriert sich auf die statische Datenaufbereitung.	✅ Unterstützt Slicer, Drilldowns und interaktive Filterung in Berichten.
  Wiederverwendbarkeit, Versionskontrolle & Dokumentation	Hoch: dbt-Modelle sind wiederverwendbar, versionskontrolliert und dokumentiert.	⚠️ Begrenzt: DAX-Formeln sind spezifisch für einzelne Berichte oder Datensätze.

  Wann sollten Sie dbt verwenden?

  • Zentralisierte Datenaufbereitung: Verwenden Sie dbt für Transformationen wie Datenbereinigung, Zusammenführung und Implementierung von Geschäftsregeln.
  • Langfristige Datenstruktur: Wenn Sie konsistente, versionskontrollierte Datenmodelle und Transformationen sicherstellen müssen.

  Wann sollten Sie Dax verwenden?

  • ➗ Dynamische Berechnungen in Berichten: Verwenden Sie DAX für Berechnungen, die auf der Grundlage von Benutzereingaben angepasst werden müssen (wie Slicer).
  • Interaktive BI: Wenn Benutzer die Möglichkeit benötigen, Daten interaktiv zu erkunden und die Ansicht von aggregierten Metriken dynamisch zu ändern.
  • Zeitliche Intelligenz: Für zeitbasierte Berechnungen wie YTD, MTD oder benutzerdefinierte Zeiträume auf der Grundlage von Benutzerfiltern.

  Die Quintessenz

  Warum brauchen Sie also dbt, wenn Sie DAX haben? Weil es chaotisch wäre, sich bei der Transformation ausschließlich auf Ihr BI-Tool zu verlassen. dbt bietet die Grundlage, die Ihre Daten benötigen, um sauber, konsistent und skalierbar zu sein. Auch wenn DAX die Kirsche auf dem Sahnehäubchen für die Feinabstimmung und Anpassung von Dashboards mit dynamischen Berechnungen ist, sollte eine Transformationsschicht im Data Warehouse immer als Grundlage für diese Berechnungen dienen.

  Ihr BI-Tool eignet sich hervorragend zur Visualisierung von Daten. dbt stellt sicher, dass die visualisierten Daten genau und zuverlässig sind und mit Ihrem Unternehmen skalieren können.

  Wenn Sie zu einer Organisation gehören, die auf dem Weg ist, Best Practices rund um Daten zu implementieren, und auf dem Weg dorthin Hilfe sucht, sind wir gerne für Sie da. Nehmen Sie einfach Kontakt mit uns auf und wir melden uns bald bei Ihnen. Oder sind Sie ein Analyst, Analytiker oder Dateningenieur, der mehr über Datenmodellierung erfahren möchte? Sehen Sie sich unser
  Data Warehousing und Datenmodellierung
  oder
  Dbt Lernen
  Kurs der Xebia Academy oder werfen Sie einen Blick auf unsere
  offenen Stellen
  .

  Foto von Stephen Dawson auf Unsplash