AWS Glue und AWS Data Pipeline haben eine Menge gemeinsam. Das Hauptziel beider Lösungen ist die Übertragung von Daten. Viele ihrer Anwendungsfälle überschneiden sich.
Es gibt jedoch auch grundlegende Unterschiede.
In diesem Beitrag vergleichen wir beide Dienste, um Ihnen die Entscheidung zu erleichtern, welcher für Ihre Bedürfnisse besser geeignet ist.
Was ist AWS Data Pipeline?
Mit dem AWS Data Pipeline Webservice können Sie die Bewegung und Umwandlung von Daten zu automatisieren. Er hilft bei der Verarbeitung und Verschiebung von Informationen zwischen verschiedenen AWS-Rechen- und Speicherservices sowie lokalen Datenquellen in bestimmten Intervallen.
Mit der AWS Data Pipeline können Sie auf Ihre Daten dort zugreifen, wo sie gespeichert sind, sie in großem Umfang umwandeln und verarbeiten und die Ergebnisse effizient an andere AWS-Services wie Amazon RDS, Amazon DynamoDB, Amazon S3 oder Amazon EMR übertragen.
Hauptmerkmale der AWS Data Pipeline
Mithilfe von AWS Data Pipeline können Sie komplexe Datenverarbeitungs-Workloads erstellen - wiederholbar, hochverfügbar und fehlertolerant -, um Abhängigkeiten zwischen Aufgaben zu verwalten, vorübergehende Fehler oder Zeitüberschreitungen in einzelnen Aufgaben erneut zu versuchen, die Verfügbarkeit von Ressourcen sicherzustellen oder ein System zur Benachrichtigung bei Fehlern zu erstellen.
Mit AWS Data Pipeline können Sie sich auf verschiedene Flexibilitätsfunktionen verlassen, wie z.B. Zeitplanung, Abhängigkeitsverfolgung und Fehlerbehandlung, indem Sie vordefinierte Aktivitäten und Vorbedingungen verwenden oder Ihre eigenen erstellen. Sie können eine AWS Data Pipeline beispielsweise so konfigurieren, dass sie Aktionen wie die Ausführung von Amazon EMR-Aufträgen, SQL-Abfragen direkt gegen Datenbanken oder benutzerdefinierte Anwendungen, die auf Amazon EC2 oder in Ihrem eigenen Rechenzentrum laufen, ausführt. Auf diese Weise können Sie leistungsstarke benutzerdefinierte Pipelines zur Analyse und Verarbeitung von Informationen einrichten, ohne sich mit der komplexen Aufgabe der zuverlässigen Planung und Ausführung von Anwendungslogik befassen zu müssen.
Und schließlich können Sie mit AWS Data Pipeline auch Informationen verschieben und verarbeiten, die zuvor in lokalen Datensilos eingeschlossen waren.
Was ist AWS-Kleber?
AWS Glue ist ein vollständig verwalteter ETL-Service (Extrahieren, Transformieren und Laden), mit dem Sie Daten einfach und kostengünstig kategorisieren, bereinigen und anreichern und zuverlässig zwischen Datenspeichern und Datenströmen verschieben können.
Mit AWS Glue können Sie AWS Cloud-Daten transformieren und in Ihren Datenspeicher verschieben. Sie können auch Daten aus unterschiedlichen statischen oder Streaming-Datenquellen in Ihr Data Warehouse oder Ihren Data Lake für regelmäßige Berichte und Analysen laden. Auf diese Weise - durch die Speicherung von Informationen in einem Data Warehouse oder Data Lake - werden Daten aus verschiedenen Bereichen Ihres Unternehmens integriert und eine gemeinsame Datenquelle für die Entscheidungsfindung geschaffen.
Hauptmerkmale von AWS Glue
AWS Glue ist serverlos, so dass Sie keine Infrastruktur einrichten oder verwalten müssen. Das Kernstück von AWS Glue sind ein zentrales Metadaten-Repository (AWS Glue Data Catalog genannt), eine ETL-Engine, die automatisch Scala- oder Python-Code generiert, und ein flexibler Scheduler, der die Auflösung von Abhängigkeiten, die Überwachung von Aufträgen und Wiederholungen übernimmt.
AWS Glue ist für die Arbeit mit halbstrukturierten Daten konzipiert. Es führt auch eine Komponente ein, die als dynamischer Rahmen bezeichnet wird.
Ein dynamischer Frame ähnelt einem Apache Spark-Datenframe - einer Datenabstraktion, die zur Organisation von Daten in Zeilen und Spalten verwendet wird - mit dem Unterschied, dass jeder Datensatz selbstbeschreibend ist, so dass zunächst kein Schema erforderlich ist. Dynamische Frames bieten Schema-Flexibilität und eine Reihe von erweiterten Transformationen, die speziell für dynamische Frames entwickelt wurden. So können Sie zwischen dynamischen Frames und Spark-Datenframes konvertieren und die Vorteile von AWS Glue und Spark-Transformationen nutzen, um die von Ihnen benötigten Analysen durchzuführen.
Mit der AWS Glue-Konsole können Sie Daten erkennen, umwandeln und für die Suche und Abfrage verfügbar machen. Die Konsole ruft die zugrunde liegenden Services auf, um die für die Umwandlung Ihrer Daten erforderliche Arbeit zu orchestrieren. Sie können auch die AWS Glue-API-Vorgänge verwenden, um mit den AWS Glue-Services zu kommunizieren. Bearbeiten, debuggen und testen Sie Ihren Python- oder Scala Apache Spark ETL-Code in einer vertrauten Entwicklungsumgebung.
Wann verwende ich AWS Glue und wann verwende ich AWS Data Pipeline?
AWS Glue und AWS Data Pipeline haben viele Gemeinsamkeiten. Beide können ähnliche Dinge tun:
- Verschieben und Umwandeln von Daten zwischen verschiedenen Komponenten in der AWS Cloud,
- nativ mit S3, DynamoDB, RDS oder Redshift zu integrieren,
- die Bereitstellung und Verwaltung lang laufender asynchroner Aufgaben,
- Unterstützung bei den ETL-Aufgaben in Ihrem Unternehmen.
Aber aus praktischer Sicht, AWS Glue ist eher ein verwalteter ETL-Service, während AWS Data Pipeline eher ein verwalteter Workflow-Service ist. Und einer der Hauptunterschiede liegt in der Technologie. Glue baut auf Apache Spart auf, so dass seine ETL auf Scala oder Python basiert.
Wann sollte ich AWS Glue verwenden? (AWS Glue Anwendungsfälle)
AWS Glue kann zum Organisieren, Bereinigen, Validieren und Formatieren von Daten für die Speicherung in einem Data Warehouse oder Data Lake verwendet werden. Sie können damit AWS Cloud-Informationen transformieren und in Ihren Datenspeicher verschieben. Sie können auch Daten aus verschiedenen statischen oder Streaming-Datenquellen in Ihr Data Warehouse oder Data Lake laden, um regelmäßige Berichte und Analysen zu erstellen. Indem Sie Daten in einem Data Lake oder Data Warehouse aufbewahren, führen Sie Daten aus verschiedenen Bereichen Ihres Unternehmens zusammen und schaffen eine gemeinsame Datenquelle für die datengesteuerte Entscheidungsfindung (DDDM).
Sie können AWS Glue verwenden, wenn Sie serverlose Abfragen gegen Ihren Amazon S3 Data Lake ausführen. AWS Glue kann Ihre Amazon Simple Storage Service (Amazon S3) Daten katalogisieren und sie für Abfragen mit Amazon Athena und Amazon Redshift Spectrum verfügbar machen. Mit Crawlern bleiben Ihre Metadaten mit den zugrunde liegenden Daten synchronisiert. Athena und Redshift Spectrum können Ihren Amazon S3 Data Lake mit dem AWS Glue Data Catalog direkt abfragen. Mit AWS Glue können Sie über eine einheitliche Schnittstelle auf Daten zugreifen und diese analysieren, ohne sie in mehrere Datensilos zu laden.
Mit AWS Glue können Sie ereignisgesteuerte ETL-Pipelines erstellen. Sie können Ihre ETL-Aufträge ausführen, sobald neue Daten in Amazon S3 verfügbar sind. Sie können diesen neuen Datensatz auch im AWS Glue Data Catalog als Teil Ihrer ETL-Aufträge registrieren.
Entscheidend ist, dass Sie dank AWS Glue Ihre Datenbestände verstehen können. Sie können Ihre Daten mit AWS-Services speichern und dank des AWS Glue Data Catalog einen Überblick über Ihre Speicherinformationen behalten. Sie können den Data Catalog anzeigen, um die Datensätze, die Sie besitzen, schnell zu suchen und zu entdecken und die erforderlichen Metadaten in einem zentralen Repository zu verwalten.
Wann sollte ich AWS Data Pipeline verwenden? (AWS Data Pipeline Anwendungsfälle)
AWS führt auch beispielhafte Anwendungsfälle für AWS Data Pipeline auf.
- ETL Unstrukturierte Daten. Analysieren Sie unstrukturierte Daten wie Clickstream-Protokolle mit Hive oder Pig auf EMR, kombinieren Sie sie mit strukturierten Daten aus RDS und laden Sie sie zur einfachen Abfrage auf Redshift hoch.
- ETL-Daten zu Amazon Redshift. Kopieren Sie RDS- oder DynamoDB-Tabellen nach S3, transformieren Sie die Datenstruktur, führen Sie Analysen mit SQL-Abfragen durch und laden Sie sie in Redshift.
- Laden Sie AWS-Protokolldaten in Amazon Redshift. Laden Sie Protokolldateien, z. B. aus den AWS-Abrechnungsprotokollen oder AWS CloudTrail-, Amazon CloudFront- und Amazon CloudWatch-Protokollen, von Amazon S3 nach Redshift.
- Laden und Extrahieren von Daten. Kopieren Sie Daten aus Ihrer RDS- oder Redshift-Tabelle nach S3 und umgekehrt.
- Umzug in die Cloud. Kopieren Sie ganz einfach Daten aus Ihrem lokalen Datenspeicher, z.B. einer MySQL-Datenbank, und verschieben Sie sie in einen AWS-Datenspeicher, z.B. S3, um sie für eine Vielzahl von AWS-Services wie Amazon EMR, Amazon Redshift und Amazon RDS verfügbar zu machen.
- Amazon DynamoDB Sicherung und Wiederherstellung. Sichern Sie Ihre Dynamo-DB-Tabelle regelmäßig in S3, um sie im Notfall wiederherstellen zu können.
Faktoren, die die Entscheidung zwischen AWS Data Pipeline und AWS Glue beeinflussen
AWS Data Pipeline vs. AWS Glue: Verwaltung der Infrastruktur
Wie wir bereits erwähnt haben, ist AWS Glue serverlos - das bedeutet, dass die Entwickler keine Infrastruktur verwalten müssen. In der Apache Spark-Umgebung von Glue werden Skalierung, Bereitstellung und Konfiguration vollständig verwaltet.
Auf der anderen Seite ist AWS Data Pipeline nicht serverlos. Ihre Entwickler können die Pipelines definieren und erhalten mehr Kontrolle über die Ressourcen, die ihnen zugrunde liegen.
Wichtig ist, dass diese Unterschiede den Charakter der Fähigkeiten und der Bandbreite bestimmen, die Sie in Ihre ETL-Aktivitäten in der AWS Cloud investieren müssen.
AWS Data Pipeline vs. AWS Glue: Operative Methoden
AWS Glue unterstützt Redshift, SQL, Amazon RDS, Amazon S3 und DynamoDB. Außerdem bietet es integrierte Transformationen. Außerdem unterstützt es das Apache Spart-Framework.
Mit AWS Data Pipeline können Sie Datentransformationen über APIs und JSON erstellen, wobei neben Shell nur Redshift, SQL, Dynamo DB und alle von EMR unterstützten Plattformen unterstützt werden.
AWS Data Pipeline vs. AWS Glue: Kompatibilität/Rechenleistung
AWS Glue führt ETL-Aufträge auf seinen virtuellen Ressourcen in einer serverlosen Apache Spark-Umgebung aus.
AWS Data Pipeline ist nicht auf Apache Spark beschränkt. Sie ermöglicht Ihnen die Verwendung anderer Engines wie Hive oder Pig. Wenn Ihre ETL-Aufträge also nicht die Verwendung von Apache Spark oder mehrerer Engines erfordern, ist AWS Data Pipeline möglicherweise die bessere Wahl.
AWS Data Pipeline vs. AWS Glue: Preisgestaltung
Bei AWS Glue zahlen Sie für Crawler und ETL-Aufträge einen Stundensatz, der sekundengenau abgerechnet wird. Für den AWS Glue Data Catalog zahlen Sie eine monatliche Gebühr für die Speicherung und den Zugriff auf die Metadaten. Die erste Million Objekte und Zugriffe kosten Sie nichts. Wenn Sie einen Entwicklungsendpunkt bereitstellen, um Ihren ETL-Code interaktiv zu entwickeln, zahlen Sie einen Stundensatz, der pro Sekunde abgerechnet wird. Bei AWS Glue DataBrew werden die interaktiven Sitzungen pro Sitzung und die DataBrew-Aufträge pro Minute abgerechnet. Die Nutzung der AWS Glue Schema-Registrierung wird ohne zusätzliche Kosten angeboten.
AWS Data Pipeline wird danach abgerechnet, wie oft Ihre Aktivitäten und Vorbedingungen ausgeführt werden und wo sie ausgeführt werden (AWS oder vor Ort). Aktivitäten mit hoher Frequenz sind Aktivitäten, die mehr als einmal pro Tag ausgeführt werden sollen. Eine Aktivität, die beispielsweise jede Stunde oder alle 12 Stunden ausgeführt werden soll, ist eine Aktivität mit hoher Frequenz. Aktivitäten mit niedriger Frequenz sind Aktivitäten, die einmal am Tag oder seltener ausgeführt werden sollen. Inaktive Pipelines sind solche, die sich im Status PENDING, INACTIVE und FINISHED befinden.
Compliance-Anforderungen und Sicherheitszertifizierungen
AWS Data Pipeline ist nicht konform mit Sicherheitsanforderungen wie GDPR. Dieses Problem ist jedoch nicht automatisch ein Ausschlusskriterium. Was es bedeutet, dass Sie die Checklisten und alle notwendigen Parameter selbst verwalten müssen, und nicht über das Tool.
AWS Glue wiederum ist GDPR- und HIPPA-zertifiziert. Daher können Sie mit Hilfe des Tools direkt einen Bericht erstellen.
Unsere Ideen
Weitere Blogs
Contact