Implementieren eines Data Lake in der Cloud

Vattenfall ist ein europäisches Energieunternehmen mit rund 19.000 Mitarbeitern. Seit mehr als 100 Jahren elektrifiziert Vattenfall die Industrie, versorgt die Haushalte mit Energie und modernisiert unsere Lebensweise durch Innovation und Zusammenarbeit. Vattenfall hat sich zum Ziel gesetzt, innerhalb einer Generation ein Leben ohne fossile Brennstoffe zu ermöglichen.  

Nach einem ersten Data Discovery Workshop setzte Vattenfall die Zusammenarbeit mit Xebia fort, um einen auf Azure basierenden Data Lake zu implementieren und seine Data Science-Praxis in Gang zu bringen.

Aufklärung der Organisation

Für das Unternehmen Vattenfall waren Daten und die damit verbundenen Begriffe wie Cloud, R, Hadoop-Cluster, Python und Data Lakes neu. Um diese Begriffe und ihre Vorteile für das Unternehmen zu erklären, haben Vattenfall und Xebia ein animiertes Video produziert, das jetzt in den Büros ausgestrahlt wird. Neben einem Einblick in die vielen Möglichkeiten, den Kundenservice zu verbessern, erklärt dieses Video auch die neue Infrastruktur und die Vorteile der Open-Source-Technologie.

 

Ein Data Lake zur zentralen Speicherung aller Daten

In Datenbanken und Tabellenkalkulationen gespeicherte Daten in Kombination mit einigen CRM-Aktivitäten waren früher in vielen Unternehmen gängige Praxis. Mit der Einführung der Big Data-Technologie ist es möglich geworden, alle Informationen zu speichern, zu kategorisieren, zu analysieren und in Echtzeit zu nutzen. Die Daten stammen nicht mehr nur aus fein säuberlich strukturierten Tabellen, sondern auch aus vielen (unstrukturierten) Quellen, darunter Telefonanrufe, Chats, Bilder, Videos, Berichte, Rechnungen, E-Mails, Surfverhalten und Konten in sozialen Medien. Für Vattenfall ist alles eine Information.

Data Lake basierend auf Hadoop-Technologie

Im Data Lake wird die Hadoop-Technologie zur Verarbeitung von Daten verwendet. Hadoop ist wie ein Cluster von Computern, die zusammenarbeiten. Das Speichern von Daten und die Verarbeitung werden auf mehrere Rechner verteilt. Zusammen können sie viel mehr Daten und Berechnungen verarbeiten. Der Data Lake wächst weiter und ist überall zu finden.

Sie können sich einen echten See vorstellen, aber die Daten werden in der Azure-Cloud gespeichert, wo der Speicherplatz günstiger ist. Der Datensee wird fast vollständig mit Open-Source-Software verwaltet. Gemeinsam mit Xebia schreiben die Analysten von Vattenfall Code in R und Python, um die Daten zu analysieren und in nützliche Informationen umzuwandeln.  

Ja, wir haben eine Menge Informationen über unsere Kunden. Wenn wir jetzt einen unerwarteten Anstieg des Verbrauchs feststellen, können wir unsere Kunden proaktiv informieren und ihnen helfen, ungewöhnlich hohe Rechnungen zu vermeiden, fügt Rens Weijers, Manager Data & Strategy bei Vattenfall, hinzu.

Alexander Bij, Big Data Hacker bei Xebia fügt hinzu: Es gibt noch viel mehr. Wir können Kunden durch gute Analysen und maschinelles Lernen helfen, herauszufinden, welche Fragen sie haben, und ihnen helfen, bevor sie den Vattenfall-Kundendienst anrufen.

Weijers fasst zusammen: Wenn ein Kunde umzieht und wir das mitbekommen, können wir den einzelnen Kunden im Voraus mit relevanten Informationen und Ratschlägen versorgen. Das nenne ich relevant und persönlich....!

Persönlicher und relevanter werden

Die Daten werden nicht nur für Vattenfall selbst, sondern vor allem für seine Kunden genutzt. Der Einkauf von Energie ist für uns sehr wichtig. Vor allem die Anpassung an die tatsächliche Kundennachfrage. Wir befinden uns gegenüber der Amsterdam Arena, einem wunderschönen Stadion, von dem wir wissen, wann die Heimmannschaft Ajax ihre Spiele austrägt oder wann Konzerte geplant sind. Wenn wir anfangen, diese Daten in unseren Data Lake zu integrieren, können wir Energie effektiver einkaufen. Das wird zu besseren Angeboten für unsere Kunden führen", sagt Weijers.

Altenburg fügt hinzu: Wenn wir feststellen, dass Kunden uns häufig kontaktieren, nachdem sie bestimmte Webseiten besucht haben, können wir daraus schließen, dass diese Seiten nicht klar genug sind und wir sie verbessern sollten. Und das ist es, worum es hier geht. Mit dem Data Lake und der Xebia-Anwendung wird Vattenfall zum persönlichsten und relevantesten Unternehmen für seine Kunden. Die Kunden genießen die Dienste ohne große Schwierigkeiten. Zwei Millionen Kunden, die von den Dienstleistungen begeistert sind, machen Vattenfall zum meist empfohlenen Energieversorger der Niederlande.

Durch die Entwicklung von Lösungen, die auf den Daten im Data Lake basieren, können wir unsere Kunden proaktiv informieren und ihnen helfen, ihren Energieverbrauch zu optimieren. - Rens Weijers, Manager, Daten & Strategie, Vattenfall.