Überwachung und
Beobachtbarkeit für
Datenplattform

Überwachung und Beobachtbarkeit in der Praxis

Wir müssen zunächst beschreiben, was Überwachung und Beobachtbarkeit
der Plattform bedeuten, denn es gibt viele verschiedene Definitionen.
Überwachung beschreibt den Prozess der Erfassung von Metriken über die IT
Umgebung, die Ausführung von Anwendungen und die Beobachtung der Systemleistung
während es bei der Beobachtbarkeit darum geht, zu messen, wie gut die internen
Zustände des Systems aus der Kenntnis seiner externen
Ausgaben abgeleitet werden können (gemäß der Kontrolltheorie). Das hört sich aufgrund der mathematischen Quelle
etwas schwierig an, lässt sich aber leicht auf IT
Anwendungsfälle übertragen.
Wir können damit beginnen, einen Anwendungsfall eines großen und komplexen
Hadoop-Clusters zu betrachten, der aus mehreren Dutzend Knoten besteht. Die falsche Verwendung der verfügbaren
Überwachungstools durch die Analyse von zu vielen
Datenpunkten würde zu unnötigen Warnungen und False Flags führen, so dass wir keinen
klaren Überblick über die Situation haben. Wir können dies als geringe Beobachtbarkeit der
Infrastruktur bezeichnen. Wenn wir eine hohe Beobachtbarkeit erreichen wollen, müssen wir
gut abgestimmte Metriken bereitstellen und Warnmeldungen korrekt einrichten. Das
Ziel ist es, Informationen über den aktuellen Status jeder Komponente zu liefern.
Ein gutes Beispiel dafür ist ein einfacher Datenverarbeitungsauftrag, der
in Spark oder Flink geschrieben wurde und Daten von Ort A nach B umschreibt.
Die Erfassung seiner Metriken und die Einrichtung von Warnmeldungen oder die Erstellung eines Dashboards mit einer einfachen
Laufzeitvisualisierung sind eine recht einfache Aufgabe. Um jedoch
Beobachtbarkeit zu erreichen, sollten wir Metriken über die Menge der verarbeiteten
Daten, JVM-Statistiken und einige Metriken über die Infrastruktur
unter der Haube sammeln. Im wirklichen Leben gibt es komplexere Datenpipelines
so dass wir vorschlagen, über die Beobachtung jedes Teils des Systems nachzudenken.