Fintech-Unternehmen BUX verwaltet Daten effizienter mit Google Cloud

BUX ist der größte Neobroker Europas mit Hauptsitz in den Niederlanden. Seit 2014 macht BUX es für Europäer einfach und erschwinglich, mehr mit ihrem Geld zu machen. BUX baut die Barrieren zu den Finanzmärkten ab und hilft neuen Generationen von Anlegern und Händlern, die Welt der Finanzmärkte zu entdecken.

Ein veraltetes Data Warehouse

Ein solides Data Warehouse ist für ein Fintech-Unternehmen, das von der AFM beaufsichtigt wird, von entscheidender Bedeutung. Wenn die Daten, die angefordert oder angezeigt werden, nicht korrekt sind, hat das große Auswirkungen auf viele Menschen. Das bestehende Data Warehouse von BUX wurde vor Ort aufgebaut und war veraltet. Eine Erneuerung des bestehenden Data Warehouse wäre eine sehr kostspielige Angelegenheit gewesen und entsprach auch nicht der Cloud-first-Strategie von BUX.

Eine völlig neue Dateninfrastruktur

Nach einer Orientierungsphase, in der BUX die Vor- und Nachteile der verschiedenen Cloud-Anbieter auflistete, beschloss BUX, den gesamten Datenstapel auf Google Cloud Platform zu übertragen. Das Flaggschiff BUX Zero lief bereits auf der Google Cloud Platform, und man war sehr zufrieden und vertraut mit ihr. Außerdem passt die Unternehmenskultur von Google - bei der Open Source und Wahlfreiheit an erster Stelle stehen - am besten zur Vision von BUX. Alles in allem war es daher eine logische Entscheidung, die Business Intelligence-Umgebung auf die Cloud Platform von Google zu verlagern.

Die Wahl für das Data Warehouse fiel auf Snowflake. BigQuery mag logischer erscheinen - da es ein Produkt von Google selbst ist - aber es stellte sich heraus, dass es für den Anwendungsfall von BUX nicht ganz geeignet war.

BUX beauftragte Xebia, bei der Übertragung von Daten aus den verschiedenen Datenquellen zu helfen. Xebia legte den Grundstein für eine gute Infrastruktur für den neuen Datenstapel. Es handelte sich um ein ziemlich komplexes Projekt, bei dem zunächst das gesamte Netzwerk konzipiert und gestaltet werden musste. Dann wurde die Anwendungslandschaft mit Kubernetes aufgebaut, auf dem AirFlow (ein Scheduler für Datenpipelines) läuft. Alles ist miteinander verbunden, so dass BUX nur noch die Datenpipelines schreiben muss.
Es ist ziemlich einzigartig, dass so viel Aufwand in die Modernisierung der Infrastruktur gesteckt wird, wenn es um ein grundlegendes Datenprojekt geht. Aber für ein modernes Unternehmen, das in einer Größenordnung wie BUX operiert, war es unerlässlich, alles von Grund auf richtig zu machen.

In der Zwischenzeit hat BUX zwei Dateningenieure eingestellt und Xebia hat das Wissen an BUX weitergegeben, so dass sie selbst die Kontrolle haben. Der gesamte Code, den Xebia geschrieben hat, wird nun vollständig von den Ingenieuren beherrscht.

Skalierbar, testbar und verwaltbar

BUX verfügt nun über eine Infrastruktur, die es ermöglicht, alle Datenpipelines skalierbar, testbar, wiederholbar und verwaltbar einzurichten. Es wurden drei Kubernetes-Cluster eingerichtet - für Entwicklung, Test und Produktion - mit denen BUX alle Datenströme in einen Entwicklungsprozess einbringen kann. Alles läuft auf die gleiche Weise über Infrastructure-as-Code, was es auch sehr wartungsfreundlich macht. Kurz gesagt: Der gesamte Datenstapel ist wiederholbar und skalierbar, was ziemlich außergewöhnlich ist.