GoDataDriven Open Source Beitrag für Q3 2019

Im dritten Quartal 2019 hat das GDD-Team zu nicht weniger als 15 verschiedenen Open-Source-Projekten beigetragen:

Verschiedene Projekte

Rens hat die Dokumentation zu voila beigetragen(#229). Vincent hat eine bescheidene Verbesserung der Dokumentation von Sense2Vec(#72) anvorgenommen. Tim hat Growatt-Unterstützung für den Home Assistant Community Store beigesteuert(#507). Fokko verbesserte die Protokollierung in Apache Flink(#9493), aktualisierte Abhängigkeiten in Apache Spark(#25432, #25437, #25451), um einige Sicherheitsprobleme zu beheben . Apache Iceberg (Incubating)(#488, #489), ursprünglich bei Netflix gestartet und jetzt in die Apache Softare Foundation eingegliedert. Außerdem kleine Verbesserungen an Airlift(#186), Presto SQL(#1603), Apache Parquet(#674) und die Wiederbelebung des Builds für MySQL Replicator in #43. Kris hat den Docker-Footprint von Whirl reduziert, indem er eine nicht benötigte JDK-Abhängigkeit entfernt hat (#54) und die Dokumentation seines docker-kafka-Images verbessert hat(#12).

Evol

Rogier hat zu Evol die Pull Requests #112, #128, #129 beigetragen, #137, #138, #143, #144, #145 und #146. Dabei handelt es sich in erster Linie um Bugfixes und Bereinigungen, die es in die Version 0.5.1 geschafft haben.

Scruid

Bas Beelen und Barend haben gemeinsam daran gearbeitet, die Unterstützung für die Authentifizierung(#74) in das Scruid-Projekt und Bas hat ein cooles neues Logo hinzugefügt(#68). In der Zwischenzeit hat Fokko das Testing Harnessaktualisiert, um die neueste Version von Druid zu verwenden(#69). Barend verbesserte die Ausnahmebehandlung von unerwarteten HTTP-Statuscodes (#67, #70). Fokko hat einen fehlenden Testfall hinzugefügt(#71)

Java IBAN

Barend hat die Versionen 1.6.0 und 1.6.1 des Java-IBAN-Projekts in Maven Central veröffentlicht. Unter wurden zwölf neue IBAN-Muster hinzugefügt, die Verwendung von Referenzdaten geklärt, potenziell sensible Informationen aus den Ausnahmemeldungen bereinigt und einige kleinere Funktionen der API hinzugefügt.

Apache Airflow

Wir haben zu Airflow und dem Airflow-Ökosystem beigetragen. Bas Harenslak und Fokko übernehmen hier traditionell die Führung. Das Standardverhalten für XCom hat sich geändert; die Befehlsausgabe wird jetzt standardmäßig verworfen, während sie früherstandardmäßig als XCom gepusht wurde(#5779). Jeder, der Airflow zur Koordinierung von Spark-Aufträgen verwendet, sollte jubeln.

• Allgemeine Verbesserungen: #5596, #5779, #5832, #5881, #5874, #5847, #5725 (Bas), #5722, #5284, #6006, #6072 (Fokko)
• Änderungen im Rahmen der Airflow Python 3 Migration: #5617, #5715 (Bas)
• Datenprüfung mit Airflow #10 (Bas)
• Airspark #1 (Bas)

Apache Avro

Fokko hat die Veröffentlichung der Version 1.9.1 von Apache Avro geleitet. Die Version 1.9.1 wurde aufgrund der Entdeckung eines Regressionsfehlers schnell nach der Version 1.9.0 veröffentlicht. Wenn Sie noch mit dem Avro 1.8-Zweig arbeiten, wird dringend empfohlen, auf die Version 1.9.1 zu wechseln. Einen Überblick über die Änderungen finden Sie in einem separaten Blogpost. Es wurde nicht viel Funktionalität hinzugefügt, aber viele der Abhängigkeiten von Avro, die CVEs enthielten, wurden entfernt. Auch die Abhängigkeit von Joda-Time wurde entfernt(#631). Pull-Anfragen: #613, #623, #624, #626, #627, #629, #630, #631, #632, #633, #634, #635.

Apache Druide (im Entstehen)

Fokko wurde als Committer für das Apache Druid Projekt akzeptiert! Er hat keine Zeit verschwendet und sich um einige Versionsaktualisierungen #8292, #8294, #8404, #8405, #8406, #8407 und allgemeine Verbesserungen #8234, #8235, #8340 gekümmert.

Scikit-Lego

Rens hat scikit-lego wiederholende Basisfunktionen hinzugefügt(#171). Vincent hat Pulls #162 hinzugefügt, #164, #167, #168 und #170, bei denen es sich hauptsächlich um Hausarbeiten handelt, sowie die Überarbeitung #156, die einen coolen FairClassifier hinzufügt. Die Version 0.3.0 enthält diese Änderungen.

Machen Sie mit!

Sind Sie ein Data Engineer oder Data Scientist, dem Open Source am Herzen liegt? Wir stellen ein!

Erfahren Sie mehr über unsere GoDataDriven Open-Source-Beitragsreihe in verschiedenen Ausgaben. Tauchen Sie ein in die Ausgabe vom April 2017, in der wir bedeutende Fortschritte bei Open-Source-Technologien diskutieren. Entdecken Sie die Ausgabe vom August 2017, in der wir wichtige Beiträge für die Community hervorheben. Gewinnen Sie wertvolle Perspektiven aus unserer Ausgabe vom Dezember 2017, in der wir Innovationen und Kooperationen im Open-Source-Ökosystem vorstellen. Tauchen Sie ein in die Ausgabe vom Februar 2017 mit ausführlichen Diskussionen über neue Trends und Technologien. Sehen Sie sich unsere Beiträge aus Q3 2019 an, die unser kontinuierliches Engagement widerspiegeln, die Grenzen von Open-Source-Initiativen zu erweitern. Entdecken Sie die bahnbrechenden Beiträge aus den Ausgaben vom Juli 2017, Juni 2017, März 2017, Mai 2017 und Oktober 2017, die jeweils einzigartige Einblicke und wichtige Beiträge für die Open-Source-Gemeinschaft bieten.