Starten Sie Ihre Karriere als Analytikingenieur

Ein hoch skalierbares, serverloses und kostengünstiges Cloud Data Warehouse. Wir werden seine öffentlichen Datensätze nutzen, die bis zu einer bestimmten Grenze kostenlos abgefragt werden können, was es ideal zum Lernen macht.

dbt ermöglicht es Datenanalysten und Ingenieuren, Daten in ihrem Warehouse zu transformieren, indem sie einfach SQL schreiben. Es bringt bewährte Softwareentwicklungsverfahren wie Versionskontrolle, Testen und Dokumentation in den Datenumwandlungs-Workflow ein.

Git ist für jede kollaborative oder strukturierte Entwicklung unverzichtbar. Mit Git können Sie Änderungen an Ihrem Code verfolgen, während GitHub eine Plattform für das Hosting Ihrer Repositories und die Zusammenarbeit mit anderen bietet.

Implementieren Sie kontinuierliche Integration und kontinuierliche Bereitstellung direkt in Ihre GitHub-Repositories. Dies wird für die Automatisierung der Tests und der Bereitstellung Ihres dbt-Projekts von entscheidender Bedeutung sein.

SQL ist für viele Berufsbezeichnungen von grundlegender Bedeutung, so auch für Analytics Engineers, da es die primäre Sprache ist, die zur Abfrage von in Datenbanken gespeicherten Daten und zur Transformation dieser Daten verwendet wird. Es wird erwartet, dass Sie mit CTEs (Common Table Expressions), JOINs und Window-Funktionen vertraut sind. Wenn Sie mit diesen Bereichen nicht vertraut sind, können Sie sich für Online-Kurse anmelden (DataCamp, Udemy, usw.) oder einen der SQL-Schulungskurse von Xebia besuchen.

Die Versionskontrolle ist ein System, das Änderungen an einer Datei oder einer Reihe von Dateien im Laufe der Zeit aufzeichnet, so dass Sie bestimmte Versionen später wieder aufrufen können. Für angehende Analytiker ist das Verständnis der Grundlagen der Versionskontrolle (meist Git) von grundlegender Bedeutung, da sie die gemeinsame Entwicklung von SQL-Abfragen, dbt-Modellen, Python-Skripten und mehr ermöglicht, so dass Teams jede Änderung verfolgen, zu früheren Versionen zurückkehren und Beiträge nahtlos zusammenführen können. In modernen Datenumwandlungspipelines sorgt die Versionskontrolle für Datenqualität, Reproduzierbarkeit, Nachvollziehbarkeit und effiziente Teamarbeit. Es gibt mehrere häufig verwendete Versionskontroll-Tools, darunter GitHub, GitLab und Azure DevOps.

Erstellen Sie ein Google Cloud-Konto (es ist kostenlos!). Erstellen Sie ein neues Projekt und aktivieren Sie die BigQuery API. Stellen Sie in der BigQuery-Benutzeroberfläche sicher, dass Sie das Projekt bigquery-public-data im Explorer-Fenster sehen können.

Erstellen Sie im Abschnitt "IAM und Admin" > "Dienstkonten" ein Dienstkonto und einen JSON-Schlüssel für dieses Dienstkonto. Beachten Sie, dass dieser Schlüssel sensibel ist, also bewahren Sie ihn bitte sicher auf!

Erstellen Sie ein GitHub-Konto (es ist kostenlos!). Erstellen Sie ein Repository, vorzugsweise öffentlich, damit andere Ihre Fähigkeiten sehen können. Beachten Sie, dass es möglich ist, die Sichtbarkeit Ihres Repositorys zwischen öffentlich und privat zu ändern, so oft Sie wollen.

Erstellen Sie ein dbt Cloud-Konto (für Einzelpersonen ist es kostenlos!). Erstellen Sie ein neues Projekt, indem Sie "BigQuery" als Warehouse auswählen und die zuvor erstellte JSON-Datei des Servicekontos hochladen. Verbinden Sie Ihr GitHub-Repository mit der dbt Cloud, indem Sie diese Anleitung befolgen. Sie sollten in der Lage sein, dbt debug erfolgreich aus dem Studio in dbt Cloud auszuführen.

Modell Organisation

Wählen Sie über das Projekt bigquery-public-data BigQuery Tabellen aus, die Sie als Quellen verwenden möchten. Hier sind einige interessante Optionen:

1. crypto_bitcoin.transactions: Eine große, sich ständig aktualisierende Tabelle mit Bitcoin-Transaktionen. Diese Quelle bietet Ihnen die Möglichkeit, ein inkrementelles Modell zu erstellen.

2. github_repos.commits: Analysieren Sie die Commit-Aktivität in einem GitHub Repo Ihrer Wahl.

3. wikipedia.pageviews_2025: Schauen Sie sich an, welche Wikipedia-Artikel aktuell sind.

Strukturieren Sie Ihr dbt-Projekt mit den Ebenen staging, intermediate und marts entsprechend den Empfehlungen von dbt.

Konfigurieren Sie Ihre dbt_project.yml, indem Sie sorgfältig abwägen, welche Materialisierung (z.B. Tabelle, Ansicht, inkrementell) für jede Schicht Ihrer Modelle am sinnvollsten ist, indem Sie Faktoren wie Transformationskomplexität, Speicherkosten und Häufigkeit der Datenaktualisierung berücksichtigen.

Fügen Sie sowohl singuläre als auch generische Tests hinzu, um sicherzustellen, dass Ihre marts Schicht qualitativ hochwertige Daten enthält.

Versuchen Sie, dbt-Exposures hinzuzufügen, um die nachgelagerte Nutzung Ihrer dbt-Modelle zu definieren, insbesondere für Ihre BI-Berichte.

Nutzen Sie die bewährten Methoden der Versionskontrolle, indem Sie Feature-Zweige und Pull Requests erstellen. Stellen Sie sicher, dass Ihre Commits verwandte Arbeiten und eine klare Commit-Nachricht enthalten.

Fügen Sie einen CI-Job hinzu und konfigurieren Sie "slim CI". Dadurch wird das Testen Ihrer Änderungen bei jeder Pull-Anfrage automatisiert, wodurch die Datenqualität sichergestellt und fehlerhafte Änderungen verhindert werden.

Fügen Sie eine Zweigschutzregel zu Ihrem main Zweig hinzu, damit Pull-Anfragen nur dann zusammengeführt werden können, wenn der CI-Job erfolgreich war.

Nachdem Ihre Daten von dbt transformiert und validiert wurden, besteht der nächste Schritt darin, das BI-Tool Ihrer Wahl (z.B. Tableau Public, Power BI Desktop - viele bieten kostenlose Versionen oder Testversionen an) mit den von dbt generierten marts Tabellen zu verbinden. Die Erstellung von Dashboards zeigt, dass die in Ihrer marts Schicht verfügbaren Daten geschäftliche Fragen beantworten können.

Als Alternative zu dbt Cloud können Sie dbt Core verwenden, die Open-Source-Version von dbt. Diese Anleitung bietet einen Schnellstart. Damit können Sie Ihr Wissen über die Einrichtung einer virtuellen Python-Umgebung und Ihre Erfahrung im Umgang mit einer Befehlszeilenschnittstelle (CLI) unter Beweis stellen. VSCode ist eine hervorragende integrierte Entwicklungsumgebung (IDE), die Ihnen den Einstieg erleichtert.

Mit GitHub Actions können Sie Ihren eigenen CI-Workflow erstellen, der Ihr dbt-Projekt kompiliert und ausführt. Außerdem können Sie einen Continuous Delivery (CD)-Workflow erstellen, der die dbt Docs als GitHub-Seite veröffentlicht.

Verwenden Sie einen SQL-Formatierer für Ihren Code, um einen standardisierten Ansatz für die Formatierung zu gewährleisten. SQLFluff und sqlfmt sind zwei weit verbreitete Optionen.

Kommt Ihr Hintergrund aus anderen Bereichen der Technik, verfügen Sie über Docker-Kenntnisse? Eine Möglichkeit, dies zu demonstrieren, ist die Verwendung von dbt Core mit einem Dev-Container, einer vollständigen Entwicklungsumgebung, die alle wesentlichen Pakete, Tools, Abhängigkeiten und Konfigurationen enthält, die für die Entwicklung mit dbt erforderlich sind.

Orchestrierung bezieht sich auf die regelmäßige Ausführung Ihres dbt-Projekts, damit die zugrunde liegenden dbt-Modelle aktuelle Daten enthalten. Im Allgemeinen wird dies mit dbt Cloud oder einem Tool wie Airflow oder Dagster durchgeführt. Sie können auch GitHub Actions verwenden, um Ihr dbt-Projekt zu planen. Denken Sie beim Entwurf Ihrer Orchestrierung daran, wie Sie Wiederholungsversuche handhaben, ob bei Fehlern Warnungen gesendet werden und welche Protokolle ausgegeben werden, damit Sie die von der Pipeline durchgeführten Aktionen debuggen können.

Haben Sie bereits ein dbt Repo, auf das Sie stolz sind? Vergessen Sie nicht, einen Link in Ihren Lebenslauf aufzunehmen, damit Personalverantwortliche einen Blick darauf werfen können!

Bücher

Für diejenigen, die sich für andere Aspekte der Analysetechnik weiterbilden möchten, gibt es viele Bücher, wie z.B.:

1. Entwerfen datenintensiver Anwendungen: Eine Ressource für das Verständnis und die Entwicklung datenintensiver Anwendungen, die Datenmodellierung, Speichersysteme und verteilte Systeme abdeckt.

2. Grundlagen des Analytics Engineering: Dieses Buch führt Sie durch den Entwurf und die Implementierung von Datenpipelines, Datenmodellierung, Schemadesign, Datenqualität, Governance, Beobachtbarkeit, kollaborative Kodierungspraktiken (Git) und die Automatisierung von Workflows mit CI/CD-Pipelines und Orchestrierern.

3. Das Data Warehouse Toolkit: Der klassische Leitfaden zur Datenmodellierung in Data Warehouses, der sich auf die Methode der dimensionalen Modellierung nach Kimball konzentriert.

Gemeinschaft

Inspiration zum Lernen kann auch von anderen kommen. Es gibt eine Reihe von Communities, in denen Sie Fragen stellen, sich inspirieren lassen oder die Arbeit anderer sehen können:

1. dbt Slack: Ein Slack-Arbeitsbereich für alle Fragen im Zusammenhang mit dbt, der von über 20k Benutzern besucht wird.

2. r/dataengineering: Für technischere Fragen ist das Data Engineering Subreddit ein aktiver Raum für Fragen und Projektvorstellungen.

3. Newsletters: Es gibt eine Reihe von Newslettern/Blogs, für die es sich lohnt, sich anzumelden, z.B. Data Products von Chad Sanderson, The Analytics Engineering Roundup von dbt Labs und Benn Stancil's Substack.