Data Engineer vs. Data Scientist - Was ist der Unterschied?

Menschen, die mit Datenoperationen nicht vertraut sind, fragen manchmal - ist ein Dateningenieur dasselbe wie ein Datenwissenschaftler? Die Antwort ist natürlich nein. Allerdings haben diese Rollen große Ähnlichkeiten, so dass sie miteinander verflochten sind.

Damit Sie sich ein besseres Bild machen können, erkläre ich Ihnen den Unterschied zwischen Data Scientist und Data Engineer genauer.

Data Engineering vs. Data Science - Allgemeiner Überblick

Im Großen und Ganzen entwickeln und warten Data Engineers Lösungen, die es Datenwissenschaftlern ermöglichen, auf Daten in großem Maßstab zuzugreifen und diese zu analysieren (z. B. Cloud-Infrastruktur). Data Engineering umfasst die Entwicklung, den Aufbau, das Testen und die Wartung von Architekturen wie Datenbanken und groß angelegte Verarbeitungssysteme. Folglich kommt diese Rolle einem DevOps mit Datenspezialisierung relativ nahe - Dateningenieure sollten wissen, wie man Datenmodelle entwickelt, Datenpipelines aufbaut und ETL-Workflows beaufsichtigt.

Auf der anderen Seite erstellen und trainieren Datenwissenschaftler Vorhersagemodelle mit den Daten, die sie von Dateningenieuren erhalten haben. Dies erfordert die Entwicklung von Erkenntnissen und die Durchführung von Experimenten mit Datenproben. Daher verbringen Datenwissenschaftler die meiste Zeit damit, Algorithmen für maschinelles Lernen zu entwickeln, zu testen und zu optimieren. Als nächstes präsentieren sie ihre Analysen auch Führungskräften und Entscheidungsträgern.

Dies ist jedoch nur eine theoretische (und trivialisierte) Perspektive. Deshalb werde ich jetzt tiefer in die technischen Details eintauchen.

Der Unterschied zwischen Data Scientist und Data Engineer - Technical Perspective

Wie ich bereits in der Einleitung erwähnt habe, sind Data Engineering und Data Science in ähnlichen Bereichen tätig. Dadurch sind ihre Aufgaben miteinander verflochten. Außerdem führen beide Experten manchmal ähnliche Aufgaben aus. Die Einzelheiten können jedoch davon abhängen, wie ein Unternehmen diese Rollen definiert.

Nehmen wir zum Beispiel die Datenbereinigung. Je nachdem, wen Sie fragen, erhalten Sie ein völlig anderes Bild von dieser Aufgabe. Einige werden sagen, dass dies ein Bereich ist, der von Data Scientists abgedeckt wird; andere werden darauf hinweisen, dass dies ein Teil des ETL-Workflows ist, der von Data Engineers durchgeführt wird. Diese Diskrepanz rührt wahrscheinlich daher, dass beide Datenexperten tatsächlich viel mit Datenbereinigung zu tun haben - allerdings auf einer anderen Ebene. Data Scientists bereinigen Daten oft manuell, während Data Engineers die Bereinigungsprozesse automatisieren. Und dafür gibt es einen konkreten Grund.

Aber bevor ich Ihnen erkläre, was der Grund dafür ist, lassen Sie uns einen Blick auf diese Grafik werfen, um einen umfassenderen Vergleich der Verantwortung zu erhalten:

 

Experimente vs. Produktion

Dieser unterschiedliche Schwerpunkt innerhalb der gleichen Bereiche rührt daher, dass Wissenschaftler hauptsächlich Experimente durchführen. Folglich arbeiten sie mit Datenproben. Dateningenieure hingegen arbeiten mit großen Datenströmen und Stapeln, automatisieren Datenpipelines und setzen schließlich Modelle in der Produktion ein .

Um auf unsere Datenbereinigung zurückzukommen, gebe ich Ihnen dieses Beispiel. Wir haben bereits festgestellt, dass beide Rollen Daten bereinigen, allerdings tun sie dies in der Regel auf unterschiedliche Weise. Wenn Datenwissenschaftler bei Experimenten Daten bereinigen, können die Dateien, an denen sie arbeiten, z.B. jeweils 10.000 Zeilen an Informationen enthalten. Wenn Dateningenieure dagegen Daten bereinigen, arbeiten sie möglicherweise mit Dateien, die... 10 000 000 000 Zeilen haben. Sie würden eine solche Datei nicht manuell durchgehen wollen, oder? Natürlich gehen Datenwissenschaftler nicht wirklich Zeile für Zeile vor. Dateningenieure hingegen automatisieren den Prozess, und die Bereinigung erfolgt automatisch, sobald neue Daten eintreffen. Bei ihrer Arbeit geht es also vor allem um Wiederholbarkeit und Überprüfbarkeit.

Dateningenieur vs. Datenwissenschaftler - Beispielhafte Zusammenarbeit in einem Projekt

Um Ihnen einen praktischeren Einblick zu geben, wie eine Zusammenarbeit zwischen einem Dateningenieur und einem Datenwissenschaftler aussehen kann, führe ich Sie durch ein beispielhaftes ML-Projekt.

Start

Um mit der Arbeit zu beginnen, benötigen unsere Datenexperten Daten (Sie können mich Paolo Coelho nennen). Bei kommerziellen Projekten werden diese Daten entweder vom Kunden oder von den Dateningenieuren geliefert (nachdem sie eine geeignete Quelle gefunden haben). In dieser Anfangsphase werden die Dateningenieure die Daten auch zum ersten Mal bereinigen - wenn auch nur vage, denn zu diesem Zeitpunkt besteht das Hauptziel darin, die Daten zu liefern.

Als Nächstes beginnen die Datenwissenschaftler mit Experimenten an einer Datenprobe aus den bereinigten Daten. Sie bereinigen sie weiter, führen eine explorative Datenanalyse durch, arbeiten an der Entwicklung neuer Funktionen und vor allem an Modellen für maschinelles Lernen. Irgendwann werden sie wahrscheinlich auch Dateningenieure um mehr brauchbare Daten bitten.

Gleichzeitig werden Dateningenieure Automatisierungsprozesse einleiten und an den zugrunde liegenden Infrastrukturen arbeiten, die Datenwissenschaftler unterstützen werden. Sie können auch die Datenbereinigung mit den von Datenwissenschaftlern aufpolierten Daten weiter automatisieren.

Zyklen

In diesem Stadium werden die Aufgaben der beiden Datenberufe wahrscheinlich in einem Zyklus erfolgen. Datenwissenschaftler werden weitere Modelle auf der Grundlage neuer Daten trainieren, und Dateningenieure werden entsprechende Architekturen entwickeln und automatisieren usw. Schließlich endet diese Phase, wenn Datenwissenschaftler ein zufriedenstellendes Vorhersagemodell (mit Code) entwickeln.

Mit diesem Modell können Dateningenieure eine Modell-Trainingsautomatik entwickeln und sich um das Hosting und die Überwachung kümmern. Gleichzeitig arbeiten Data Scientists daran, mehr Erkenntnisse aus der Datenquelle zu gewinnen. Nachdem die Data Engineers mit ihrem Teil fertig sind, sammeln sie Feedback (und analysieren es).

Produktion

Wenn das Modell schließlich für gut genug befunden wird und produziert werden kann, beginnen die Dateningenieure mit der Produktionsphase .

Wenn eine Visualisierung erforderlich ist, liefern Datenwissenschaftler das WAS (was zu visualisieren ist) und Dateningenieure arbeiten an dem WIE (wie diese Visualisierung technisch umgesetzt werden kann).

Data Engineer vs. Data Scientist Gehalt

Eine weitere sehr beliebte Frage ist: Wer wird besser bezahlt - Dateningenieur oder Datenwissenschaftler?

Die Antwort hängt sehr stark von der jeweiligen Region ab. In den USA verdienen Datenwissenschaftler auf dem Papier deutlich mehr. Laut Glassdoor beträgt das durchschnittliche Jahresgrundgehalt eines Datenwissenschaftlers in den Vereinigten Staaten 115.594 $. Analog dazu verdienen Dateningenieure Berichten zufolge etwa 111.246 $ pro Jahr.

In Großbritannien ist die Antwort jedoch genau das Gegenteil. Schätzungen zufolge verdienen britische Datenwissenschaftler 50.769 £ pro Jahr, während Dateningenieure angeblich durchschnittlich 56.376 £ pro Jahr verdienen.

In Polen - wo ich arbeite - berichtet Devire, dass Dateningenieure, die in der Hauptstadt angestellt sind, statistisch gesehen 18 000 PLN pro Monat verdienen, und Datenwissenschaftler verdienen durchschnittlich 20 000 PLN.

Ich muss jedoch darauf hinweisen, dass die typischen Aufgaben von Data Scientists und Data Engineers in Europa und den USA unterschiedlich verstanden werden können - und daher rühren wahrscheinlich auch diese leichten Gehaltsunterschiede.

Letztendlich kann man wohl sagen, dass beide Funktionen ähnlich bezahlt werden. Und da Datendienste derzeit sehr gefragt sind, sollten Experten, die Data-Science-Lösungen und Data-Engineering-Dienste anbieten, mit relativ hohen Gehältern rechnen.

Data Engineer vs. Data Scientist vs... Data Analyst?

Es gibt auch eine^3. Datenrolle, die ich kurz erwähnen möchte - den Datenanalysten.

Während Datenwissenschaftler an neuen Wegen der Datennutzung und -analyse arbeiten, machen Datenanalysten hauptsächlich Sinn aus Daten, die bereits einen klaren Zweck haben. In der Praxis analysieren Datenanalysten numerische Daten (und möglicherweise mehr), um Führungskräften bei der Entscheidungsfindung zu helfen.

Im Vergleich zu Dateningenieuren und Datenwissenschaftlern ist der Datenanalyst in der Regel eine Einstiegsposition in der Welt der Daten. Edureka berichtet, dass die wichtigsten Voraussetzungen für einen Job als Datenanalyst ein einschlägiger Bachelor-Abschluss und gute Statistikkenntnisse sind. Technische Fähigkeiten sind ein Plus, das einem Bewerber helfen kann, sich von anderen Kandidaten abzuheben.

Dateningenieur vs. Datenwissenschaftler - Zusammenfassung

Wie Sie sehen, sind der Data Engineer und der Data Scientist zwei unterschiedliche Rollen - aber sie haben viel gemeinsam.

Ich muss jedoch nochmals betonen, dass das Verständnis von Data Engineering und Data Science je nach Region sehr unterschiedlich sein kann. In den USA sind die Verantwortlichkeiten für Data Engineering beispielsweise weniger genau festgelegt als in Europa, weshalb die Rolle breiter gefasst wird.

Aber wenn Sie in einem Unternehmen arbeiten, das seine eigenen Datenlösungen entwickeln möchte, müssen Sie sich um diese Probleme nicht kümmern. Ein Softwarepartner beginnt damit, Ihre geschäftlichen Anforderungen zu kennen (oder zu ermitteln) und die Rollen und Projekte daran anzupassen - Sie müssen die Rollen für Data Engineering und Data Science nicht selbst definieren. In diesem Fall beginnen die Datenwissenschaftler in der Regel damit, Sie zu befragen und Ihre Abläufe und Daten zu analysieren. Dank guter technischer Fähigkeiten und eines vertieften Geschäftsverständnisses werden sie in der Lage sein, an Erkenntnissen zu arbeiten, die optimale Ergebnisse liefern können.