MotherDuck: Serverlose Analyse ohne Overhead

Dateningenieure kennen das Problem: Sie müssen sich nachts um 2 Uhr mit Cluster-Konfigurationen herumschlagen, Spark-Jobs optimieren, deren Ausführung Stunden dauert, oder erklären, warum diese "einfache" Aggregationsabfrage 500 Dollar an Rechenleistung kostet. Das Versprechen moderner Data Warehouses war die Skalierbarkeit, die jedoch auf Kosten von Eleganz und Einfachheit ging.

Hier kommt MotherDuck ins Spiel - eine serverlose Analyseplattform, die Data Warehousing von Grund auf neu überdenkt. MotherDuck basiert auf der rasend schnellen DuckDB-Engine und liefert Abfragen im Sekundenbereich ohne den Overhead großer, verteilter Systeme. Wir freuen uns, mit MotherDuck bei der Einführung einer neuen EU-Region zusammenzuarbeiten, die Unternehmen performante, effiziente Analysen mit voller europäischer Datenresidenz bietet.

Sehen wir uns an, was MotherDuck zu einer so überzeugenden Option für Data Warehousing macht.

Vertikale Skalierung mit Mietverträgen pro Benutzer

Herkömmliche Data Warehouses zwingen Unternehmen zu einem verteilten Computermodell, das für alle geeignet ist, selbst wenn 95 % der Arbeitslasten auf einem einzigen leistungsstarken Knoten laufen könnten. MotherDuck verfolgt mit seinem Pro-Benutzer-Mietmodell einen anderen Ansatz.

Jeder Benutzer stellt eine Verbindung zu seiner eigenen DuckDB-Instanz (genannt "Duckling") her, die je nach Arbeitslast vertikal skaliert. Jede Instanz ist vollständig isoliert, unterhält aber letztlich eine Verbindung zu einem zentralen Data Warehouse. Keine Überversorgung des Warehouse mehr, kein Kampf um Cluster-Ressourcen und keine Probleme mit lauten Nachbarn, die in einer mandantenfähigen Umgebung um Rechenleistung konkurrieren.

Ducklings lassen sich vertikal skalieren, um den Anforderungen jeder Arbeitslast gerecht zu werden - von Pulse-Instanzen für Ad-hoc-Abfragen und Datenexploration über Jumbo-Instanzen für konsistente schwere Arbeitslasten bis hin zu Giga-Instanzen für massive Backfills und andere intensive Arbeitslasten, bei denen die Rechenleistung im Vordergrund steht.

Lokale Entwicklung, Cloud-Skala

Eines der leistungsstärksten Merkmale der MotherDuck-Architektur ist die enge Kopplung zwischen lokaler Entwicklung und skalierten, serverlosen Analysen in der Cloud.
Mit dem dualen Ausführungsmodell von MotherDuck können Benutzer die Leistung ihrer lokalen Rechner in Abstimmung mit der Cloud nutzen. Abfragen werden auf intelligente Weise zwischen den beiden Umgebungen aufgeteilt, so dass die Ressourcen optimal für die Verarbeitung der Daten dort eingesetzt werden, wo sie sich am ehesten befinden. Kleine Datensätze und Entwicklungsarbeiten werden lokal zum Nulltarif ausgeführt, während Produktionsworkloads nahtlos in die Cloud skaliert werden.
Was den Workflow betrifft, so lässt sich die lokale Entwicklung in DuckDB mit MotherDuck problemlos in die Cloud übertragen. Sie können ganz einfach eine Stichprobe Ihrer Daten erstellen, eine Abfrage lokal entwickeln und dann mit der Produktion zusammenführen.

‌

Die Schönheit liegt in der Einfachheit - ein einziger ATTACH Befehl überbrückt lokale und Cloud-Daten. Hier ist ein Beispiel für einen Arbeitsablauf, der zeigt, wie Sie Cloud-Daten neben lokalen Daten abfragen können:

# Local DuckDB development
import duckdb

# Start with local development - analyzing a CSV file
con = duckdb.connect('local.db')
con.sql("CREATE TABLE sales AS SELECT * FROM 'sales_data.csv'")
con.sql("SELECT product, SUM(revenue) FROM sales GROUP BY product").show()

# Scale to the cloud with one line - just attach MotherDuck
con.sql("ATTACH 'md:my_warehouse'")

# Now seamlessly query cloud data alongside local data
con.sql("""
    SELECT 
        l.product,
        l.revenue as local_revenue,
        c.revenue as cloud_revenue
    FROM sales l
    JOIN my_warehouse.production.sales c 
        ON l.product = c.product
""").show()

# Or push local development work to the cloud for production
con.sql("CREATE TABLE my_warehouse.production.sales_v2 AS SELECT * FROM sales")

Entwicklung von Abfragen in Echtzeit mit Instant SQL

Die Entwicklung von Abfragen ist von Natur aus iterativ: Schreiben Sie eine komplexe Transformation, führen Sie sie aus, warten Sie, finden Sie einen Fehler in CTE #7, kommentieren Sie Code aus, um ihn zu debuggen, führen Sie ihn erneut aus, warten Sie erneut.

Die Funktion Instant SQL von MotherDuck vereinfacht diesen mühsamen Zyklus und gibt den Benutzern Werkzeuge für die Entwicklung von Abfragen in Echtzeit an die Hand. Die Vorschauen der Ergebnismengen werden während der Eingabe aktualisiert, so dass die Benutzer die Abfrageergebnisse untersuchen und schneller iterieren können.

Komplexe CTEs, deren Fehlersuche normalerweise Stunden dauert? Klicken Sie herum und visualisieren Sie jede CTE in Sekundenschnelle. Das mysteriöse NULL in Ihrer Berechnung einer Geschäftskennzahl? Zerlegen Sie Ihre Spaltenausdrücke in der Ergebnistabelle, um genau herauszufinden, was passiert ist.

‌

Egal, ob Sie mit umfangreichen Tabellen in MotherDuck, Parkettdateien in S3, Postgres-Tabellen, SQLite, MySQL, Iceberg oder Delta arbeiten, Sie erhalten sofortiges Feedback zu jedem Tastendruck. Sogar KI-generierte Vorschläge werden vertrauenswürdig, da Sie sofort sehen, wie der Vorschlag auf die Ergebnismenge angewendet wird, bevor Sie die Eingabe bestätigen.

Durch die Kombination des Local-First-Designs von DuckDB mit der dualen Ausführungsarchitektur von MotherDuck können Sie Ad-hoc-Abfragen während der Eingabe beschleunigen. Testen Sie Transformationen lokal mit zwischengespeicherten Beispielen, validieren Sie die Logik in Echtzeit und skalieren Sie dann auf Produktionsdatensätze - und das alles, ohne Ihren Flussstatus zu verlassen.

MotherDuck für europäische Teams

Die EU-Region von MotherDuck ist jetzt in der privaten Vorschau, die allgemeine Verfügbarkeit wird im Oktober erreicht. Das bedeutet, dass europäische Unternehmen endlich die blitzschnellen Analysefunktionen von DuckDB in der Cloud nutzen können. Ihre Daten verbleiben während ihres gesamten Lebenszyklus in der EU, während die Abfrageleistung im Subsekundenbereich erhalten bleibt, auf die sich MotherDuck-Kunden wie Trunkrs und Layers verlassen. Kombiniert mit den Vorteilen der Co-Location, die regionsübergreifende Egress-Gebühren überflüssig macht, und der vereinfachten Einhaltung der GDPR-Anforderungen können europäische Teams jetzt auf schnelle, effiziente Analysen zugreifen, ohne den Overhead von verteilten Systemen.

Gemeinsam mit dem Team von MotherDuck veranstalten wir am 14. Oktober um 11 Uhr MEZ ein Webinar, in dem wir eine Demo der Plattform vorstellen und erörtern, wie sie in reale Anwendungsfälle der Datentechnik passt - einschließlich der Vorteile und Nachteile.

‌