Die Geburt des dbt-Excel-Adapters: Wie aus einem Scherz Wirklichkeit wurde

Es war der 21. Oktober 2022, und wir kamen gerade von der Coalesce Konferenz in New Orleans. Fünf Tage lang trafen sich Daten- und IT-Experten aus der ganzen Welt, um über die Zukunft von dbt (oder Data Build Tool, das die Ausführung von SQL gegen Datenbanken und Data Warehouses vereinfacht) zu diskutieren. Während wir die technische Seite von dbt schön fanden, konzentrierten sich viele andere Teilnehmer auf geschäftliche Probleme und die Akzeptanz des Tools. Das hat uns dazu inspiriert, über neue Projekte nachzudenken, mit denen wir dbt für unsere Kunden nutzbar machen können. Das einzige Problem war, dass einige dieser Kunden immer noch mit Excel und nicht mit Datenbanken arbeiteten.    

Es war noch warm genug genug, um in den Swimmingpool unseres Airbnb, und während wir in den Himmel starrtensagte einer von uns, 

"Hey, können Sie sich vorstellen, einen dbt-Adapter für Excel zu bauen?" 

Wir haben alle über den Scherz gelacht. Wenn Sie hat nicht, Mach dir keine Sorge, es bedeutet nur, dass Sie mit uns abhängen öfter mit uns abhängen.

Doch als das Lachen verstummte, sagte jemand anderes,    

"Sollen wir es tatsächlich schaffen?" 

Aprilscherz: die Veröffentlichung des dbt-Excel-Adapters

Bei Xebia nehmen wir unsere Scherze ernst. Deshalb haben wir beschlossen, einen dbt-Adapter für Excel als großen Scherz zu entwickeln und ihn am 1. April zu veröffentlichen. Aber wir haben immer noch eine Leidenschaft für Datentools, also wollten wir sicherstellen, dass der Adapter funktioniert. Und schließlich arbeiteten viele Unternehmen noch mit Excel, also war es vielleicht einen Versuch wert.   

Das bedeutete, dass wir als Zwischenschritt eine Datenbank benötigten, mit der wir uns verbinden konnten. Dafür hatten wir bei Xebia jede Menge Vorschläge. Acht unserer Berater sind GitHub-Mitarbeiter für dbt und kennen sich mit verschiedenen Adaptern aus. Am Ende haben wir uns für DuckDB entschieden.  

A dbt-Adapter für DuckDB existiert bereits, aber das Problem ist, dass DuckDB keine Excel-Dateien lesen kann. Hier kam die Ingenieursarbeit ins Spiel: Wir mussten Excel-Dateien in .parquet-Dateien umwandeln, die DuckDB lesen konnte. Wir steckten unsere Köpfe zusammen und schafften es, den Kern unseres Programms zu erstellen.  

Aber wir wollten es nicht dabei belassen. Wir wollten sicherstellen, dass die Benutzer Funktionen ausführen können, die sie aus Excel kennen: VLOOKUP, AVERAGEIF und den Rest ihrer Favoriten. Das bedeutete, dass wir ein paar Makros erstellen mussten, um diese Funktionen zu implementieren. Und dann wollten wir natürlich die endgültige Ausgabe in einer Excel-Datei speichern.   

Es hat uns einige Tage und viele Liter Kaffee gekostet, aber wir haben den Adapter noch vor den Aprilscherzen fertiggestellt. Der technische Teil des Projekts war erledigt, blieb noch der Marketingteil. Also haben wir uns in Schauspieler verwandelt und das hier gemacht   Werbevideo das wir in unseren sozialen Medien veröffentlicht haben. 

Viele Leute haben darüber gelacht, andere wiederum müssen einfach noch etwas mehr Zeit mit uns verbringen. Und während wir die flüchtige Berühmtheit genossen, hatten wir das Gefühl, dass unser innerer Nerd nicht vollständig gesehen wurde.  Viele im Publikum lachten, aber nur wenige erkannten, dass das Gerät echt war. 

Der Adapter, den Sie hier herunterladen können hier herunterladen können, ermöglicht es Ihnen, sich von Ihrem Computer aus mit dbt zu verbinden, indem Sie Excel verwenden, ohne dass Sie eine Datenbank benötigen. Mit anderen Worten: Sie machen sich mit dbt vertraut, ohne der Rückgriff auf eine virtuelle Maschine, die Sie möglicherweise zu lange offen lassen und ohne eine Datenbank, die Sie möglicherweise nicht zur Hand haben. Der dbt-Excel-Adapter könnte Teil des so genannten Minimum Viable Data Stack sein, einer Reihe von Datentools, die es Ihrem Unternehmen ermöglichen, ohne große Anfangsinvestitionen mit Daten zu arbeiten.   

Wenn Ihr Unternehmen noch mit Excel arbeitet und mit der Datentransformation beginnt, ist es vielleicht sinnvoll, diesen dbt-Excel-Adapter in der Prototyping-Phase zu verwenden. Er hilft Ihnen, sich mit einigen der Hauptvorteile von dbt vertraut zu machen, wie z.B. Versionskontrolle, Testen oder das Mischen von mittleren bis fortgeschrittenen SQL-Berechnungen, während Sie das Endergebnis in Excel betrachten.  

Bevor Sie Ihre gesamte Datenlandschaft umgestalten, empfehlen wir immer, verschiedene Tools und Pilotprojekte auszuprobieren. Wenn Sie von den Ergebnissen überzeugt sind, können Sie danach schrittweise in andere professionelle Dienstleistungen investieren, die Ihre Datenpipelines stärken. Sie können uns jederzeit anrufen, wenn Sie diese Umstellung besprechen möchten.  

Für uns war der Bau des Adapters eine großartige Erfahrung: Wir haben uns die Hände schmutzig gemacht, wir haben mit dem Werkzeug gespielt, das wir lieben - dbt - und wir haben dabei eine Menge gelernt. Wir haben es als Scherz und als ernsthaftes Projekt betrieben. Wir haben es getan, weil wir unseren Job lieben und gerne ab und zu darüber lachen. Aber vor allem haben wir es gemacht, weil es uns am Pool in New Orleans einfach eine ziemlich coole Idee erschien.