Nutzen Sie eine Cloud-Plattform für den mühelosen Kauf und Verkauf von Häusern

Anfang der 2000er Jahre hat Funda - eine Online-Plattform für Wohnungssuchende, Käufer und Verkäufer - den niederländischen Immobilienmarkt für immer verändert. Heute kennen 98% der niederländischen Bevölkerung Funda, und 86% nutzen es bei der Suche nach einem Haus. Funda hat es sich zur Aufgabe gemacht, Angebot und Nachfrage zusammenzubringen. Das Unternehmen möchte bei einem der denkwürdigsten Momente im Leben eines jeden Menschen dabei sein: dem Kauf oder Verkauf eines Hauses! Mit rund 73 Millionen Besuchen pro Monat verfügt das Unternehmen über eine riesige Menge an Daten. Aber wie verwandelt man diese Daten in Erkenntnisse, die das Nutzererlebnis bereichern können?

Funda & Daten

Wie wichtig Daten für Funda sind, zeigt sich daran, dass die datengestützte Entscheidungsfindung zu den Werten des Unternehmens gehört. Spiros Kouloumpis, Head of Data bei Funda, fügt jedoch hinzu, dass die Entwicklung zu einer datengesteuerten Organisation ein Nordstern blieb, weil wir unter Infrastrukturproblemen litten. Die meisten unserer Daten befanden sich vor Ort und waren über die gesamte Organisation verstreut. Da wir keinen direkten Zugang zu den Daten hatten, war die Exploration für die Datenwissenschaftler eine Herausforderung und zeitaufwändig, da die Daten manuell erfasst werden mussten. Aufgrund mangelnder Standardisierung mussten sie das Rad für jede Anfrage neu erfinden, und die Produktteams stießen immer wieder auf eine Mauer.

Also erweiterte Funda das Datenteam und setzte sich drei Ziele, um mehr Nutzen aus den Daten zu ziehen:

1. Zentralisieren Sie
2. Verschieben Sie Daten in die Cloud
3. Daten dezentralisieren

Eine Selbstbedienungs-Daten-Cloud-Plattform

Funda hat eine langjährige Beziehung zu Xebia. Als das Unternehmen feststellte, dass es eine Cloud-Datenplattform benötigte, aber nicht über die Ressourcen verfügte, um sie zu bauen, setzte sich Spiros mit Niels (CTO, Xebia Data and AI) zusammen. Ich erzählte ihm von unseren Ideen, wie z.B. Airflow auf Kubernetes laufen zu lassen, und von unseren spezifischen Anforderungen an die zu entwickelnde Plattform. Niels erkannte das Potenzial, und wir stellten ein Team zusammen, das mit der Arbeit daran begann. Zwei Experten von Xebia - Anibal Kolker und Roman Ivanov - bildeten ein Sub-Data-Team mit eigenem Zyklus und Stand-ups für sechs Wochen. Später kam Guillermo Sánchez Dionis von Xebia als Analytics Engineer hinzu, um uns dabei zu helfen, von Daten zu Erkenntnissen zu gelangen. Während Xebia uns neue Dinge beibrachte, waren unsere Experten hauptsächlich dafür verantwortlich, das, was wir taten, mit dem Rest des Unternehmens abzustimmen und zu teilen, erläutert Spiros.

Die Collaboration in a Nutshell:

• Funda beauftragte Xebia mit dem Aufbau einer Cloud-Datenplattform auf der Grundlage spezifischer Anforderungen und der Lieferung eines kleinen Proof of Concept mit 3 Zielen: Die Plattform musste in der Lage sein, einen dbt-Job, einen Spark-Job und einen Python-Job auszuführen.
• Durch die Aufnahme eines PoC in den Scope of Work hatte Funda den Beweis, dass die Datenplattform funktionierte und seine Anforderungen erfüllte.
• Nach Abschluss des Auftrags übergab Xebia die Roadmap-Dokumentation und organisierte Sitzungen, um andere in der Bedienung der Plattform zu unterrichten.
• Funda übernahm das Projekt und begann mit dem Aufbau der Datenplattform.

Die technischen Daten

Das Hauptziel von Funda war es, eine einzige Kubernetes-basierte Datenlaufzeit zu schaffen, in der Aufträge geplant und Daten transformiert werden. So konnte jeder die Daten für seine eigenen Zwecke nutzen. Diese Dateninfrastruktur musste in Microsoft Azure eingerichtet werden. Das Team migrierte die Anwendungsfälle von Funda von der Hadoop-Plattform und dem alten BI-Server auf die Google Cloud Platform und integrierte Best Practices rund um dbt (Data Build Tool) und Datenqualität. Data Engineers und Data Scientists können jetzt neue Pipelines erstellen, ohne an der zugrunde liegenden Cloud-Infrastruktur arbeiten zu müssen. Der Zugriff auf die Daten erfolgt über eine SQL-Schnittstelle, die die Kriterien der Selbstbedienung erfüllt. Teams können je nach ihrer Rolle auf verschiedene Data Marts zugreifen, und die Erstellung neuer Anwendungsfälle ist einfach und schnell.

Guillermo, Analytics Engineer bei Xebia Data and AI, präzisiert: Die Daten werden nun sowohl aus den Systemen von Funda repliziert als auch aus verschiedenen Ereignisströmen in BigQuery mikrogefiltert. Andere Umgebungsdienste wurden jedoch in Microsoft Azure implementiert, wo die meisten Anwendungen von Funda untergebracht sind. In Azure richtete das Team Airflow on Azure Kubernetes Service (AKS) ein, um alle Datenpipelines von Funda zu orchestrieren. Diese Pipelines können in drei verschiedenen Setups laufen, die alle auf AKS laufen. Diese Setups sind: (1) Python-Skripte, (2) Spark-Jobs, (i3) dbt-Transformationen. Die Datenpipelines-Plattform wird mit der GitOps-Methode implementiert, bei der der gesamte Code in Git gespeichert und vom Flux GitOps-Agent automatisch in Kubernetes bereitgestellt wird. Für das Self-Service-Reporting wurde Google Data Studio als bevorzugtes Tool ausgewählt, da es sich problemlos mit BigQuery integrieren lässt. Die Verwaltung der Cloud-Infrastruktur wurde mit den infra-as-code Prinzipien unter Verwendung von Terraform implementiert.

Eine neue Art des Arbeitens

Mit der neuen Plattform wurde auch eine neue, flexiblere und robustere Arbeitsweise eingeführt. Spiros erzählt: Wir müssen die neue Datenplattform nicht im Detail verstehen; als Endbenutzer müssen wir nur wissen, wie man sie benutzt. Xebia hat die Plattform implementiert und uns darauf geschult. Wir haben auch unsere Arbeitsweise geändert. Vorher hatten wir zum Beispiel keine Produktionsumgebung, um Batch-Jobs auszuführen. Wann immer wir also eine neue Datenanwendung erstellen mussten, mussten wir sie von Grund auf neu konzipieren. Jetzt wissen wir, dass wir, wann immer wir etwas erstellen und es ausführen müssen, es 'docken' und es wird ausgeführt. Früher war die Bereitstellung und Planung eine Herausforderung und führte zu erheblichen Verzögerungen. Heute ist die Erstellung einer Anwendung im Handumdrehen erledigt!

Guillermo fügt seine Erfahrung hinzu: Jeder Berater möchte die Bedürfnisse der Endbenutzer so schnell wie möglich verstehen, um so schnell wie möglich einen Mehrwert zu schaffen. Funda hat mir wirklich geholfen, mich mit seiner Arbeitsweise vertraut zu machen. Ich erhielt Einblicke in das Verhalten der Daten, gab Empfehlungen für Tests, schulte das Team und alle neu eingestellten Mitarbeiter und arbeitete eng mit dem Marketingteam zusammen. Diese Zusammenarbeit war sehr fruchtbar. Einige seiner Anfragen konnten wir sogar noch am selben Tag liefern. Das liegt weit über dem, was ich in anderen Unternehmen gesehen habe.

Ergebnisse

Wenn wir etwas für die Endnutzer bewirken, bedeutet das, dass wir für fast jeden in den Niederlanden etwas bewirken. -Spiros Kouloumpis, Leiter der Datenabteilung bei Funda.

Die Verwendung einer neuen, zentralisierten Cloud-Datenplattform mit Selbstbedienung hat Funda in die Lage versetzt:

• Verringern Sie die Zeit bis zur Produktion von Projekten um mehr als 50%.
• Führen Sie die Datendemokratisierung innerhalb des Unternehmens ein. Bieten Sie internen Stakeholdern wie Marketing, Werbung und Produktanalytik einfachen Zugang zu Daten, um neue Zielgruppen zu schaffen oder noch mehr über die Customer Journey zu erfahren.
• Stärkere Konzentration auf den Nutzen für die Endnutzer.

Spiros: Wir waren in der Lage, ein ML-Modell zu erstellen, das vorhersagt, wo sich unsere Nutzer auf der Reise befinden: beim Suchen, Orientieren, Ansehen, Bieten oder Kaufen. Wir wollen dies personalisieren, aber ohne leicht zugängliche Daten war dieser Prozess langsam. Jetzt haben wir eine zentralisierte Cloud-Datenplattform, mit der wir Produkte extrem schnell und sehr häufig bereitstellen können.

Abschließend gibt Spiros einen Ratschlag für Unternehmen, die sich in einem ähnlichen Prozess befinden: Schaffen Sie eine Datenplattform, die Ihre Anwendungsfälle ermöglicht. Definieren Sie diese zuerst und arbeiten Sie rückwärts. Übertreiben Sie es nicht mit der Entwicklung. Halten Sie es einfach und pragmatisch. Stellen Sie sicher, dass die Plattform das kann, was Sie wollen, dass sie Ihre Fragen beantwortet und skalierbar ist. Verstehen Sie auch die Bedeutung von Dateningenieuren. Ein Datenteam zu haben ist großartig, aber mit welchen Daten werden Sie ohne Ingenieure arbeiten? Konzentrieren Sie sich zunächst auf die Erstellung von Datensätzen. Data Scientists sind keine Zauberer. Sie müssen zuerst die Infrastruktur schaffen und Data Engineering verstehen.