Apache Airflow Abschluss als Apache Top-Level

Heute ist ein großer Tag für Apache Airflow, denn es wird vom Inkubationsstatus zu einem Apache-Projekt der obersten Ebene. Dies ist die nächste Stufe der Reife von Airflow. Für diejenigen, die Airflow noch nicht kennen: Airflow ist ein Orchestrierungswerkzeug zur Planung und Orchestrierung Ihrer Daten-Workflows. Von ETL bis zum Training von Modellen oder anderen beliebigen Aufgaben. Im Gegensatz zu anderen Orchestrierungsprogrammen ist alles in Python geschrieben, so dass es sowohl für Ingenieure als auch für Wissenschaftler leicht zu bedienen ist. Da alles in Code vorliegt, ist es einfach zu versionieren und zu pflegen.

Zum Zeitpunkt der Erstellung dieses Artikels ist Apache Airflow bei mehr als 200 Unternehmen im Einsatz, darunter Adobe, Airbnb, Astronom, Etsy, Google, ING, Lyft, Paypal, Qubole, Reddit, Reply, Square, Twitter, United Airlines und viele mehr.

Auch im Bereich der Cloud ist Airflow auf dem Vormarsch. Vor allem wird Airflow auf der Google Cloud Platform als verwalteter Service unter dem Namen Cloud Composer angeboten. Außerdem haben die jüngsten Bemühungen von Amazon zu einer nahtlosen Integration von Sagemaker in Airflow geführt. Neben den Cloud-Anbietern bieten auch Unternehmen wie Astronomer verwaltetes Airflow an. Dieses Ökosystem von Unternehmen rund um Airflow macht es zu einem Produkt, das sich sehr gut auf viele Unternehmen übertragen lässt, und stellt sicher, dass es gemeinsame Anstrengungen zur Weiterentwicklung von Airflow gibt.

Wenn Sie sich für Airflow interessieren, sollten Sie am 23. Januar zum Meetup im Google HQ in London kommen. Mein lieber Kollege Bas Beelen wird einen Vortrag darüber halten, wie das Testen mit Airflow wieder Spaß machen kann.

Für mich persönlich, als Committer des Projekts, ist es wirklich erstaunlich zu sehen, wie Menschen aus aller Welt Code und Dokumentation zu Airflow beitragen, um es noch besser zu machen. Ich freue mich auf das, was 2019 für Airflow bringen wird!

Sind Sie an einer Apache Airflow-Schulung interessiert?

Eine kurze Vorwarnung: Wir bieten auch Apache Airflow Training als einen der öffentlichen Kurse in unserer Akademie an. Der nächste geplante Workshop findet am 4. und 5. Februar 2019 statt und Sie können sich gleich hier anmelden.

Sie können den Kurs nicht besuchen? Kein Problem, Sie können sich in unserem Terminkalender unter über die anderen Termine informieren, zu denen wir diesen Kurs im Laufe des Jahres anbieten, oder Sie können sich unten über die Buchung einer privaten, firmeninternen Schulung erkundigen.