Kundengeschichten
Play migriert einen Petabyte-Hadoop-Cluster mit Open-Source-Technologien auf Kubernetes
Xebia unterstützte Play bei der Modernisierung seiner Datenplattform mit einer vollständig quelloffenen, Cloud-agnostischen Lösung, die skalierbare Analysen, sicheren Zugriff für mehrere Teams und schlanke Abläufe ermöglicht.
Capabilities:
Industries:
Capabilities:
Industries:
Auf einen Blick
Herausforderung
Ende des Supports für die Hortonworks Data Platform (HDP) und steigende Nachfrage nach Skalierbarkeit, einfacherer Bereitstellung und Zusammenarbeit mehrerer Teams.
Lösung
Migration eines Hadoop-Clusters im Petabyte-Bereich auf eine vollständig quelloffene, Kubernetes-basierte Plattform mit ArgoCD-gesteuertem GitOps.
Ergebnisse
Containerisierte, Cloud-fähige Datenplattform mit verbesserter Zuverlässigkeit und Skalierbarkeit.
Ermöglicht mehreren Teams die unabhängige Bereitstellung und Verwaltung von Anwendungen.
Vereinfachte Upgrades und Fehlerbehebungen verkürzten die Einführungszeiten auf unter eine Stunde.
Der Kunde
Play ist Polens führender Mobilfunknetzbetreiber, der über 15 Millionen Abonnenten mit Sprach-, Messaging-, Daten- und Videodiensten versorgt. Seit seinem Start im Jahr 2007 hat sich Play zur Nummer 1 auf dem polnischen Markt entwickelt und bietet moderne Dienste an, die 99 % der Bevölkerung abdecken. Um diesen Wettbewerbsvorteil zu erhalten, investiert Play kontinuierlich in Datenplattformen, die Analysen, Kundeneinblicke und betriebliche Effizienz unterstützen.
Die Herausforderung
Jahrelang verließ sich Play auf die Hortonworks Data Platform (HDP), um groß angelegte Verarbeitungs- und Analysevorgänge zu verwalten. Als jedoch der Support für HDP im Dezember 2021 auslief, stand das Unternehmen an einem entscheidenden Wendepunkt. Die Fortführung der veralteten Infrastruktur würde die Flexibilität einschränken, Sicherheitsrisiken bergen und die Innovation bremsen. Gleichzeitig verlangte der wachsende Datenbedarf von Play nach einer Lösung, die nicht nur skalierbar und zuverlässig war, sondern auch einfacher zu warten und in der Lage, mehrere Teams gleichzeitig zu unterstützen.
Die Anforderungen waren ehrgeizig: Die neue Plattform sollte zu 100 % quelloffen, Cloud-fähig und frei von Herstellerbindung sein. Sie sollte den sicheren Zugriff mehrerer Teams unterstützen, die Bereitstellung vereinfachen und eine robuste Skalierbarkeit und Ressourcenverwaltung bieten. Play erkannte, dass Containerisierung und Kubernetes zum Industriestandard für die Orchestrierung moderner Workloads geworden waren, und machte sich daran, seine Plattform im Petabyte-Bereich mit diesen Technologien neu aufzubauen.
Die Herangehensweise
Die Migrationsstrategie konzentrierte sich auf die Nutzung von Kubernetes als Rückgrat der neuen Plattform, um containerisierte Workloads mit Konsistenz und Portabilität zu orchestrieren. Anwendungen, die zuvor auf HDP liefen - wie Spark, Trino, Jupyterhub und Airflow - wurden als von Kubernetes verwaltete Dienste bereitgestellt, die von Helm-Charts für eine effiziente Installation und Skalierung unterstützt werden. Hadoop HDFS wurde als Speicherebene beibehalten und vom Kubernetes-Cluster getrennt, um Ausfallsicherheit und hohe Leistung zu gewährleisten und gleichzeitig einen möglichen Wechsel zu Cloud-nativem Speicher in der Zukunft zu ermöglichen.
Um mehrere Teams zu befähigen und die Bereitstellung zu rationalisieren, führte Play ArgoCD für GitOps-basiertes Infrastrukturmanagement ein. Dadurch konnte die gesamte Infrastruktur als Code ausgedrückt werden, mit automatischer Synchronisierung, Rollback und Einblick in Änderungen. Entwickler konnten ihre eigenen Airflow-Instanzen oder andere Tools ganz einfach durch Aktualisierung der Konfigurationsdateien in Betrieb nehmen, während ArgoCD sichere, konsistente Bereitstellungen in verschiedenen Umgebungen gewährleistete. Ergänzt durch Apache Superset für BI, Jupyterhub für Data Science und starke Sicherheitsintegrationen mit Kerberos, Ranger und OPA wurde die Plattform zu einem flexiblen Open-Source-Ökosystem, das auf die unterschiedlichen Bedürfnisse der Benutzer zugeschnitten ist. Selbst bei Spitzenbedarf konnte die Kubernetes-basierte Spark-Umgebung ohne Unterbrechung auf 1.500 Kerne und 4 TB Speicher skaliert werden - ein Beweis für die Robustheit der Lösung im großen Maßstab.
Das Ergebnis
- Migrierte einen Hadoop-Cluster im Petabyte-Bereich auf eine Kubernetes-basierte, vollständig Open-Source-Plattform.
- Ermöglichte es mehreren Teams, mit ArgoCD GitOps unabhängig voneinander zu arbeiten, was Reibungsverluste reduzierte und die Zusammenarbeit verbesserte.
- Vereinfachte Wartung und Upgrades - z. B. dauerte die Bereitstellung einer neuen Trino-Version weniger als eine Stunde, einschließlich Tests.
- Die Zuverlässigkeit der Spark-Verarbeitung im großen Maßstab wurde durch die Skalierung auf 1.500 Kerne und 4 TB Speicher ohne Probleme erreicht.
- Bereitstellung einer sicheren, Cloud-agnostischen Einrichtung mit Kerberos, SSO, Ranger und OPA.
Was kommt als Nächstes?
Mit seiner neuen, auf Kubernetes basierenden Plattform ist Play gut für die Zukunft gerüstet. Die Open-Source-Grundlage sorgt für kontinuierliche Flexibilität, während GitOps-Praktiken sowohl die Skalierung als auch das Experimentieren vereinfachen. Mit Blick auf die Zukunft kann die Plattform problemlos in hybride oder Multi-Cloud-Umgebungen erweitert werden, um die sich entwickelnden Geschäftsanforderungen zu unterstützen und gleichzeitig eine Anbieterbindung zu vermeiden.
Contact