Rückblick auf den Spark Summit 2016

Der Europäische Spark-Gipfel fand vom 25. bis 27. Oktober in Brüssel statt. Über 1.000 Spark-Enthusiasten kamen zusammen, um an Schulungen teilzunehmen und Keynotes von Matei Zaharia, Ion Stoica und Andy Steinbach zu hören.

In diesem Jahr wurde GoDataDriven gebeten, eine Schulung zu geben und eine Grundsatzrede zu halten. Wir fühlten uns natürlich sehr geehrt und haben diese Gelegenheit mit beiden Händen ergriffen.

Spark Summit Schulungstag

Am ersten Tag des Gipfels, dem Schulungstag, bereitete sich Andrew Snare darauf vor, Wikipedia mit Spark zu erkunden und den 100 Teilnehmern im Raum etwas beizubringen. Glücklicherweise wurde Andrew von drei Schulungsassistenten unterstützt, darunter Kris Geusebroek. Die Assistenten sorgten dafür, dass Andrew sich auf die Schulung konzentrieren konnte, während die Assistenten sich um alle Fragen und Anmerkungen der Teilnehmer kümmerten.

Kris Geusebroek bemerkte dazu: "Zunächst einmal war es toll, die Leute hinter Databricks kennenzulernen. Die Schulung verlief gut, als TA musste ich nicht stillsitzen, aber das machte die Mühe am Ende lohnend. Noch spannender war das positive Feedback der Teilnehmer, was, wie ich sagen muss, eine großartige Leistung von Andrew als Trainer und dem Rest der TAs war".

Spark Summit - Die Konferenz

Der erste Tag der zweitägigen Konferenz richtete sich an Entwickler, während der zweite Tag den Schwerpunkt auf das Unternehmen legte. Diese Trennung ist Teil des allgemeinen Themas, das während dieser beiden Tage deutlich wurde: Spark ist zu einem Kernstück der Big Data- und Data Science-Tools geworden, und nun hat sich der Schwerpunkt von dem, was wir damit tun können, darauf verlagert, wie wir damit Werte schaffen können.

Die beiden Tage boten großartige Keynotes, darunter eine, in der es um Bier ging (wussten Sie, dass die Niederlande inzwischen mehr Brauereien als Belgien haben) und Max Verstappen im selben Vortrag! Ja, das war die Keynote unseres eigenen COO, Renald Buter:

Erlebnisse beim Spark-Gipfel

Etliche Berater von GoDataDriven haben am Spark Summit teilgenommen. Die allgemeine Erfahrung war sehr positiv, mit vielen Informationen und neuen Erkenntnissen. Für Bas Harenslak war dies seine erste Konferenz.

"Der Entwicklertag war eine großartige Lernerfahrung. Ich verfolgte hauptsächlich Sitzungen zum Testen, Überwachen und Debuggen von Spark und lernte nützliche Tricks und Tools wie Vegas (Vega-Visualisierung + Scala), SparkLint (Überwachungstool für Spark-Jobs) und Spark-Profiling mit Flame-Graphen kennen", sagt Bas. "Der zweite Tag war der Enterprise-Tag. Obwohl ich die Entwicklerthemen bevorzuge, war es dennoch ein interessanter Tag mit Vorträgen über strukturiertes Streaming, containerisiertes Spark und natürlich Renalds Keynote!"

Ein wiederkehrendes Thema in mehreren Vorträgen war die Verfügbarkeit von Whole-Stage Codegen in Spark 2.0 zur Verbesserung der Ausführungsleistung. Es wäre gut gewesen, wenn es mehr Vorträge zum Thema Structured Streaming gegeben hätte, da es erst kürzlich mit Spark 2.0 veröffentlicht wurde. Abgesehen von den technischen Aspekten war die Konferenz gut organisiert, mit gutem Essen und Getränken.

Jelte Hoekstra nahm ebenfalls teil. "Viele Präsentationen konzentrierten sich auf den ersten Einsatz von Spark, z.B. die Migration zu Spark von Hive oder eine kleine Dateneinrichtung. ETL ist definitiv ein wichtiger Aspekt der Datenwissenschaft, aber ich persönlich würde sagen: mehr verteiltes maschinelles Lernen! Vielleicht könnte man auf dem nächsten Summit verschiedene Formate als Ergänzung zu den reinen Präsentationen ausprobieren, das wäre schön!"