Was ist Azure Synapse Analytics?

Azure Synapse Analytics ist eine skalierbare Cloud-basierte Data Warehousing-Lösung von Microsoft. Sie wird auch als die erweiterte Version von Azure SQL Data Warehouse bezeichnet.

Neben allen Funktionen eines Data Warehouse bietet Ihnen Azure Synapse:

• ETL & Datenintegration - Entwicklung und Planung von Datenpipelines mit Azure Data Factory
• Datenanalyse - Führen Sie SQL-Datenanalysen und Bigdata-Analysen mit Spark durch.
• Maschinelles Lernen - Entwicklung von KI- und ML-Modellen für Daten
• Business Intelligence - Erstellen Sie interaktive Berichte mit PowerBI
• Wahl der Sprache - T-SQL, Python, Scala, SparkSQL und .NET

Schauen Sie sich das folgende Diagramm an und sehen Sie, wie diese Dienste miteinander verbunden und für das Projekt nützlich sind.

Dieses Architekturdiagramm zeigt, dass -

• Wir können Daten aus jeder relationalen oder nicht-relationalen Datenbank übernehmen. 90+ Datenquellen sind verfügbar.
• Rohdaten können auf Azure Blob Storage/ADLS Gen2 gespeichert werden
• Daten in Azure SQL Data Warehouse speichern
• Dann können Sie mit Hilfe von Analysediensten Datenanalysen durchführen
• Dann nutzen Sie diese Daten mit PowerBI für interaktive Berichte.
• Die Orchestrierung und Planung von Daten erfolgt über die Datenfabrik.

 

 

Alle diese Dienste werden als Paket mit Azure Synapse Analytics angeboten. Außerdem können wir alle diese Aktivitäten in einem einzigen Tool namens "Azure Synapse Studio" durchführen. Das bedeutet nicht, dass Ihnen alle Dienste ständig in Rechnung gestellt werden.

 Azure bietet Ihnen zwei Arten von Kostenmodellen:

• On-Demand - Serverloses Modell: - Stellen Sie Ressourcen nur dann bereit, wenn Sie sie benötigen, und entsorgen Sie sie, sobald sie fertig sind. Sie können je nach Bedarf auf- und abwärts skalieren. Außerdem können Sie Kosten sparen, wenn Sie sie für eine kürzere Dauer und begrenzte Zeit benötigen.  

• Vorab bereitgestelltes - dediziertes Modell: - Die Ressourcen werden im Voraus bereitgestellt und Ihnen zugewiesen. Sie sparen Zeit, wenn Sie Ihren Auftrag direkt ausführen, da Sie keine Ressourcen bereitstellen und konfigurieren müssen. Sparen Sie Kosten, wenn Sie die Ressourcen für einen längeren Zeitraum benötigen.

Lassen Sie uns nun über den Kerndienst von Azure Synapse sprechen, nämlich Data Warehousing. Dieser Dienst wird auch als "Dedizierter SQL-Pool (früher SQL DW)" angeboten.

Dedizierter SQL-Pool (früher SQL DW)

in Azure Synapse

Dedizierter SQL-Pool (früher SQL DW): - Er trennt die Speicher- und Rechenschicht der SQL-Datenbank, so dass beide unabhängig voneinander skaliert werden können.

So können Sie die Rechenressourcen nach oben und unten skalieren, um den Leistungsanforderungen gerecht zu werden. Wenn Sie mehr gleichzeitige Benutzer haben oder komplexe Abfragen durchführen, können Sie die Leistung erhöhen.

Dies bietet Ihnen auch die Flexibilität, die Rechenressourcen anzuhalten, wenn Sie sie nicht benötigen, und sie bei Bedarf wieder aufzunehmen. Das spart enorme Kosten, da Ihnen nur die in der Speicherebene gespeicherten Daten in Rechnung gestellt werden.

Kostenmodell für Dedicated SQL-Pool (früher SQL DW):

Speicherressourcen: - Der Datenspeicher wird in 1 TB berechnet. Wenn Ihre Daten über 1 TB hinauswachsen, werden sie automatisch auf 2 TB skaliert.

Derzeit kostet es etwa 1520 INR pro TB Daten für 1 Monat (Änderungen je nach Region und Microsoft-Richtlinien vorbehalten)

Rechenressourcen: - Rechenkosten und Leistung werden in DWU (Data Warehouse Units) gemessen. Es bietet Ihnen die Möglichkeit, Ihren Rechenbedarf von "DW100c - DW3000c" zu wählen.

Derzeit kostet Sie DW100c etwa 80-100 INR pro Stunde (Änderungen je nach Region und Microsoft-Richtlinien vorbehalten)

 Im obigen Diagramm sehen Sie andere Arten von Pools; lassen Sie uns einen kurzen Blick darauf werfen:

Serverloser SQL-Pool: - Sie können diesen Pool für Analysen verwenden, wenn Ihre Daten auf einer anderen Speicherebene liegen und Sie keine spezielle SQL-Datenbank zum Speichern der Daten benötigen. Sie können die Abfragen bei Bedarf ausführen, und die Abrechnung erfolgt auf der Grundlage der verarbeiteten Daten.

Derzeit kostet es etwa 330 INR pro TB Datenverarbeitung (Änderungen je nach Region und Microsoft-Richtlinien vorbehalten)

Apache Spark Pool: - Zur Ausführung von Spark-Aufträgen und zur Durchführung von Big Data-Analysen. Die Kosten richten sich nach der vCore-Konfiguration, die Sie für die Ausführung Ihrer Spark-Aufträge wählen.

Massiv parallele Verarbeitung (MPP): - Eine der besten Eigenschaften von Azure synapse Data Warehousing ist die Unterstützung der MPP-Datenbanktechnologie, die es ermöglicht, analytische Arbeitslasten zu verwalten und große Datenmengen effizient zu verarbeiten. Im Gegensatz zu transaktionalen Datenbanken, die Zeilen in einer Tabelle als ein Objekt speichern, speichern MPP-Datenbanken jede Spalte als ein Objekt. MPP-Datenbanken verteilen die Daten außerdem auf viele Knoten, die parallel arbeiten, um verschiedene Teile der Abfragen zu verarbeiten. Diese Datenbankarchitektur erleichtert komplexe, langwierige analytische Prozesse.

Wie Sie die beste Data Warehousing-Lösung auswählen:

Azure Synapse vs. Azure SQL-Datenbank

Wir empfehlen Ihnen, bei der Auswahl der Data Warehousing-Lösung für Ihre Projektanforderungen die folgenden Faktoren zu berücksichtigen.

Datenbankgröße: - Für kleinere Datenmengen unter 1 TB, die auf bis zu 8 TB anwachsen können, empfiehlt sich Azure SQL db. Wenn Ihre Anforderungen mindestens 1 TB betragen und auf 100-200 TB anwachsen können, sollten Sie sich für Azura Synapse entscheiden.

Arbeitsbelastung Typ: - Azure Synapse eignet sich am besten für die analytische Verarbeitung (OLAP), da es MPP unterstützt und die Last auf mehrere Knoten zur Datenverarbeitung verteilt. Wenn Sie Transaktionsverarbeitung (OLTP) oder das Lesen und Schreiben einer kleinen Datenmenge benötigen, sollten Sie Azure SQL db in Betracht ziehen.

PolyBase: - Azure Synapse unterstützt die Funktion PolyBase, mit der Sie externe Daten über T-SQL abfragen und importieren können. Dies ist sehr nützlich beim Importieren von Daten aus Azure Blob Storage oder Data Lake. Die Azure SQL-Datenbank unterstützt PolyBase derzeit noch nicht.

Fazit: - Lassen Sie mich zum Schluss kommen und Ihnen aus meiner praktischen Erfahrung mit Azure Synapse analytics und verschiedenen Data-Warehousing-Lösungen raten.

• Azure SQL-Datenbank für Data Warehousing ist die bessere Wahl für kleinere Datenmengen, einfache Abfrageverarbeitung und OLTP-Anforderungen. Sie bietet einfache Wartung und vorhersehbare Kosten.
• Azure Synapse SQL Pool für Data Warehousing ist besser für große Datensätze, komplexe Abfrageverarbeitung und OLAP-Anforderungen geeignet. Wenn Sie wissen, dass Ihre Datenmenge wachsen wird oder Sie in Zukunft mehr analytische Aufgaben oder Datenverarbeitungsanforderungen haben werden, dann ist dies die beste Lösung. Außerdem können Sie mit einer niedrigeren Konfiguration beginnen und je nach Bedarf aufstocken.
• Azure Synapse Analytics ist das Komplettpaket für Dateneingabe, Analyse, Modellierung, Orchestrierung und Business Intelligence. Wenn Sie mehrere Dienste von Azure separat nutzen und nach verwalteten Diensten mit all diesen Funktionen suchen, dann entscheiden Sie sich für das Komplettpaket Azure Synapse Analytics.
• Wenn Sie nur Data Warehousing benötigen, können Sie den Data Warehousing-Service von Azure Synapse(Dedicated SQL Pool (früher SQL DW)) separat wählen, ohne sich für eine komplette Azure Synapse Analytics-Lösung zu entscheiden..