Geben Sie intelligenter aus, nicht mehr: Ein Leitfaden zur Optimierung der AWS-Speicherkosten

Einführung

Mit einem sich ständig erweiternden digitalen Universum ist die Datenspeicherung zu einem entscheidenden Aspekt der IT-Strategie eines jeden Unternehmens geworden. Die Cloud, insbesondere Amazon Web Services (AWS), hat die Speicherung großer Datenmengen unkomplizierter gemacht als je zuvor. Doch ohne den richtigen Ansatz und eine gut durchdachte Strategie können sich die Kosten schnell in die Höhe schrauben.

Ganz gleich, ob Sie ein IT-Experte sind, der große Mengen an Unternehmensdaten verwaltet, ein Kleinunternehmer, der die Kosten kontrollieren möchte, oder einfach ein AWS-Benutzer, der das Beste aus seinem Cloud-Speicher herausholen will - dieser Blog liefert Ihnen wertvolle Anregungen, um Ihre AWS-Speicherrechnung effektiv zu optimieren. Im Folgenden werden wir verschiedene Strategien zur Optimierung Ihrer Speicherkosten auf AWS untersuchen, von der Auswahl der geeigneten Speicherklassen und der Nutzung von Lebenszyklusrichtlinien bis hin zur Verwendung von intelligentem Tiering und der Implementierung von Strategien zur Datenarchivierung und -löschung.

S3 Speicher

Jeder, der AWS nutzt, wird unweigerlich auf S3 stoßen, einen der beliebtesten Speicherdienste der Plattform. Kunden nutzen S3 oft, um große Datenmengen zu speichern, vergessen dabei aber, Richtlinien für die Lebenszyklusverwaltung zu konfigurieren.

Lifecycle Management für Amazon S3-Buckets ist eine Funktion, mit der Sie das Verschieben Ihrer Daten zwischen verschiedenen Speicherklassen automatisieren und sie löschen können, sobald sie nicht mehr benötigt werden. Diese Funktion trägt dazu bei, die Kosten zu optimieren und Ihre Daten während ihres gesamten Lebenszyklus effektiv zu verwalten. Mit der richtigen Verwaltung des Lebenszyklus von AWS S3-Objekten lassen sich die Kosten und der Kohlenstoffausstoß optimieren.

Durch die Auswahl der geeigneten Speicherklasse können Sie Ihre Daten am kostengünstigsten speichern, je nachdem, wie häufig auf sie zugegriffen werden muss und wie schnell sie abrufbar sein müssen.

Die folgende Tabelle gibt Ihnen einen Überblick über die AWS-Speicherkosten.

Lagerung Klasse	Entworfen für	Abruf Ändern	Min. Lagerung Dauer	Erstes Byte Latenzzeit	Min. Abrechenbares Objekt Größe
S3 Standard	Häufig genutzte Daten mit Zugriff im Millisekundenbereich. Mehr als einmal im Monat wird auf sie zugegriffen.	Keine	Keine	Millisekunden	Keine
S3 Standard IA	Langlebige Daten, auf die nur selten zugegriffen wird (einmal im Monat) mit Zugriff im Millisekundenbereich.	pro abgerufenem GB	128 KB	Millisekunden	30 Tage
*S3 Intelligent Tiering	Daten mit unbekannten, wechselnden oder unvorhersehbaren Zugriffsmustern.	Keine	Keine	Millisekunden	Keine
S3 Eine Zone IA	Wiederherstellbare Daten, auf die selten zugegriffen wird (einmal im Monat) mit Zugriff im Millisekundenbereich.	pro abgerufenem GB	128 KB	Millisekunden	30 Tage
S3 Glacier Sofortabruf	Langlebige Archivdaten, auf die einmal pro Quartal mit Millisekunden-Zugriff zugegriffen wird.	pro abgerufenem GB	128 KB	Millisekunden	90 Tage
S3 Gletscher Tiefes Archiv	Langlebige Archivdaten, auf die weniger als einmal im Jahr zugegriffen wird, mit Abrufzeiten von Stunden.	pro abgerufenem GB	Keine	Minuten oder Stunden	180 Tage
S3 Glacier Flexibles Abrufverfahren	Langlebige Archivdaten, auf die einmal im Jahr mit Abrufzeiten von Minuten bis Stunden zugegriffen wird.	pro abgerufenem GB	Keine	Minuten oder Stunden	90 Tage

Was Glacier Deep Archive und Glacier Flexible Retrieval betrifft, müssen Sie archivierte Objekte wiederherstellen, bevor Sie auf diese Objekte zugreifen können.

Storage Lens: der Schlüssel zum Verständnis von S3-Buckets

Amazon S3 Storage Lens bietet einen umfassenden Überblick über Ihre Objektspeichernutzung und -aktivität im gesamten Unternehmen für eine detaillierte Analyse der Speichermuster. Mit S3 Storage Lens können Sie kritische Trends wie am schnellsten wachsende Buckets und Präfixe identifizieren und so eine effiziente Speicherverwaltung und -planung ermöglichen. S3 Storage Lens hilft Ihnen, potenzielle Bereiche für Einsparungen zu identifizieren, z.B. Buckets ohne S3 Lifecycle-Regeln, was kosteneffiziente Speicherpraktiken unterstützt. Mit Storage Lens können Sie die S3-Kosten analysieren, die durch nicht aktuelle Versionsobjekte, gelöschte Marktobjekte oder unvollständige Multipart-Uploads entstehen.

Sie finden Storage Lens in der AWS-Konsole, indem Sie zu S3 gehen und unten im Menü auf der linken Seite das Standard-Dashboard mit einer Zusammenfassung der Speicher- und Kostenoptimierung anzeigen lassen. Sie können auch erweiterte Metrik- und Empfehlungsfunktionen aktivieren, um zusätzliche Hilfe und Informationen zu erhalten. So können Sie lernen, wie Sie Lebenszyklusregeln für S3-Buckets konfigurieren.

Mit Storage Lens können Sie:

1. Reduzieren Sie die Anzahl der nicht aktuellen Versionen: Wenn S3 Versioning ohne entsprechende Lebenszyklusregeln für den Übergang oder das Auslaufen nicht aktueller Versionen aktiviert ist, kann es zu einer erheblichen Anhäufung dieser früheren Versionen kommen, was zu erhöhten Speicherkosten führt, da sie Speicherplatz belegen, ohne aktiv verwaltet oder entfernt zu werden.
2. Finden Sie unvollständige mehrteilige Uploads: Mehrteilige Uploads in Amazon S3 ermöglichen es Ihnen, große Objekte (bis zu 5 TB) in kleineren Teilen hochzuladen. Diese Methode erhöht den Durchsatz und ermöglicht eine schnellere Wiederherstellung bei Netzwerkproblemen. Wenn der mehrteilige Upload-Prozess jedoch unterbrochen wird, verbleiben die bereits hochgeladenen Teile in einem unbrauchbaren Zustand im Bucket. Für diese unvollständigen Teile fallen weiterhin Speicherkosten an, bis der Upload entweder abgeschlossen ist oder die unvollständigen Teile manuell entfernt werden.
3. Erkennen Sie kalte Amazon S3-Buckets: Nutzen Sie die fortschrittlichen Metriken von S3 Storage Lens, um die "Kälte" Ihrer S3-Buckets zu beurteilen, die auf selten oder nie genutzte Daten, Inhalte oder Objekte hinweist. Wichtige Metriken wie GET-Anfragen und Download-Bytes helfen Ihnen, die tägliche Zugriffshäufigkeit auf Ihre Buckets zu bestimmen. Verfolgen Sie diese Metriken über Monate hinweg, um konsistente Zugriffsmuster zu identifizieren, ungenutzte Buckets zu erkennen und Daten entsprechend zu verschieben.

Wenn Sie noch mehr Hilfe bei den Zugriffsmustern benötigen, gibt es Amazon S3 Intelligent-Tiering. Die Speicherklasse Amazon S3 Intelligent-Tiering passt sich automatisch an, um die Speicherkosten zu optimieren, indem sie Daten auf der Grundlage sich ändernder Zugriffsmuster auf die kostengünstigste Zugriffsebene verschiebt. Gegen eine geringe monatliche Gebühr überwacht sie die Zugriffsmuster von Objekten und verschiebt Objekte, auf die nicht zugegriffen wurde, auf kostengünstigere Ebenen.

EBS-Speicher und EBS-Snapshots

AWS bietet zwei Arten von General Purpose SSD-Volumes: GP2 und GP3. GP3-Volumes bieten eine bessere Kosteneffizienz als GP2 und bieten eine Basisleistung von 3.000 IOPS und 125 MiB/s ohne zusätzliche Kosten. Was die Leistung betrifft, so können Sie mit GP3-Volumes unabhängig von der Speicherkapazität bis zu 16.000 IOPS und einen Durchsatz von bis zu 1.000 MiB/s bereitstellen, was Ihnen mehr Flexibilität bei der Feinabstimmung der Leistung auf die Anforderungen Ihrer Anwendung bietet. Diese Kapazität ist ein Vorteil gegenüber GP2-Volumes, bei denen die IOPS mit der Größe des Volumes skaliert, was dazu führen kann, dass Sie zu viel Speicherplatz bereitstellen müssen, um die Leistungsanforderungen zu erfüllen. Darüber hinaus ist GP3 um 20% günstiger als die bestehenden GP2-Volumes.

EBS-Schnappschuss

Ein EBS-Snapshot oder Amazon Elastic Block Store Snapshot ist eine Point-in-Time-Kopie Ihrer Daten, die aus Amazon EBS-Volumes erstellt wird und für Backups, das Kopieren von Daten zwischen Regionen und die Verbesserung der Backup-Compliance verwendet wird. Snapshots können täglich oder wöchentlich erstellt werden, da die Anforderungen je nach Kunde variieren. Aber haben Sie den Lebenszyklus für diese Snapshots konfiguriert? Die Anhäufung zu vieler alter Snapshots führt zu unerwünschten Kosten. Die Lebenszyklen von EBS-Snapshots können automatisch verwaltet werden.

Verwenden Sie Amazon Data Lifecycle Manager, um die Erstellung, Aufbewahrung und Löschung von EBS-Snapshots und EBS-gesicherten AMIs zu automatisieren. Mit dem Data Lifecycle Manager können Sie auch die AWS-Speicherkosten senken, indem Sie veraltete Backups löschen.

Siehe die Snapshot-Lebenszyklen automatisieren Verfahren zur Konfiguration der Lebenszyklus-Verwaltungsrichtlinie. Darüber hinaus können Sie auch das Amazon EBS Snapshots Archive nutzen, das eine kostengünstige Lösung für die langfristige Speicherung von Snapshots bietet, auf die selten zugegriffen wird und die nicht häufig oder schnell abgerufen werden müssen. Normalerweise werden Snapshots im Standard-Tier inkrementell gespeichert, wobei nur die seit dem letzten Snapshot vorgenommenen Änderungen erfasst werden. Bei der Archivierung wird der Snapshot in einen vollständigen Snapshot umgewandelt, der alle Daten auf dem Volume zum Zeitpunkt der Archivierung erfasst, und dann in die Archivschicht verschoben. Archivierte Snapshots können bei Bedarf auf dem Standard-Tier wiederhergestellt werden. Diese neue Archivierungsoption ermöglicht Einsparungen von bis zu 75 % bei den Snapshot-Speicherkosten für Snapshots, die 90 Tage oder länger aufbewahrt werden.

Amazon EFS-Speicher

Amazon Elastic File System (EFS) ist ein skalierbarer, Cloud-nativer Dateispeicherdienst für Anwendungen, die auf AWS laufen. Er bietet ein einfaches, serverloses elastisches Dateisystem, das mit AWS-Cloud-Services und lokalen Ressourcen verwendet werden kann.

Mit zunehmender Speicherkapazität nimmt die Anforderung einer Anwendung, auf alle Dateien zuzugreifen, ständig ab. Studien und Nutzungsmuster zeigen, dass nur etwa 20 % der Daten aktiv genutzt werden, während auf etwa 80 % nur selten zugegriffen wird.

EFS unterstützt zwei Speicherklassen: EFS Standard und EFS Infrequent Access (IA). Daten in EFS Standard werden nach einer gewissen Zeit der Nichtnutzung automatisch in EFS IA verschoben. Dadurch werden die Speicherkosten für Dateien, auf die nicht regelmäßig zugegriffen wird, gesenkt, und sie bleiben dennoch leicht zugänglich, wenn Sie sie benötigen.

EFS Lifecycle Management ist einfach zu aktivieren und läuft automatisch im Hintergrund. Wenn sie für ein Dateisystem aktiviert ist, werden Dateien, auf die nicht gemäß der von Ihnen gewählten Lebenszyklusrichtlinie zugegriffen wird, automatisch in die kostenoptimierte EFS IA-Speicherklasse verschoben.

Der Übergang der IA-Lebenszyklusrichtlinie bietet Optionen von keinem Übergang bis zum Übergang von Objekten, auf die seit 90 Tagen nicht mehr zugegriffen wurde. Umgekehrt erlaubt die Richtlinie für den Übergang aus der IA, dass Objekte entweder in der IA verbleiben oder beim ersten Zugriff aus der IA übergehen.

Sie können die Lebenszyklus-Richtlinie für EFS ganz einfach konfigurieren, indem Sie sich auf dieAmazonEFS Intelligent-Tiering-Prozedur beziehen.

RDS-Schnappschüsse

Wie bei EBS-Snapshots erstellen wir auch RDS-Snapshots. AWS bietet eine automatische Snapshot-Verwaltungsaufbewahrung, bei der unsere Techniker die Snapshots manuell oder mit Hilfe von Drittanbieter-Tools erstellen. Wenn es zu viele alte Snapshots gibt, kann dies zu zusätzlichen Kosten für RDS Charged Backup führen, die sehr hoch sein können, wenn RDS-Snapshots nicht effizient verwaltet werden. Um sie zu verwalten, können Sie AWS Lambdas definieren, die alte Snapshots überwachen und die notwendigen Maßnahmen ergreifen, wie z.B. Teams über die Löschung alter Snapshots zu informieren oder diese automatisch zu löschen, um alte und unnötige Snapshots, die die Speicherkosten in die Höhe treiben, zu überschreiben und/oder zu entfernen.

CloudWatch

Die Protokollierung ist ein wesentlicher Bestandteil der Überwachung von Anwendungen und Infrastrukturen und der Fehlerbehebung. Dienste wie EKS erzeugen eine enorme Menge an Protokollen. AWS CloudWatch Logs ist ein wertvoller Service für die Überwachung und Speicherung von Protokollen aus verschiedenen AWS-Ressourcen. Allerdings können sich die Kosten schnell summieren, wenn sie nicht angemessen verwaltet werden.

Standardmäßig bewahrt CloudWatch Logs Ihre Protokolldaten auf unbestimmte Zeit auf. Sie sollten die Aufbewahrungseinstellungen für jede Protokollgruppe entsprechend den Anforderungen Ihres Unternehmens anpassen. Wenn Sie die Protokolle nur für einen Monat benötigen, stellen Sie die Aufbewahrungsfrist auf 30 Tage ein. Dadurch sparen Sie nicht nur die Speicherkosten von CloudWatch, sondern auch bei AWS Athena-Abfragen, die Daten in der Cloudwatch-Protokollgruppe scannen.

Die Verbesserung der betrieblichen Effizienz und die Senkung der Gesamtbetriebskosten sind wichtige Beweggründe für die Migration in die Cloud, und diese Ziele sind auch bei den Speicherkosten von Bedeutung. Daher kann die Verlagerung von Daten, auf die nur selten zugegriffen wird, auf eine kostengünstigere Speicherebene zu erheblichen Kosteneinsparungen führen. Dennoch kann die manuelle Ermittlung dieser Art von Daten eine schwierige Aufgabe sein. In einem idealen Szenario würde das System die Datenzugriffsmuster im Laufe der Zeit automatisch verfolgen und die Daten nahtlos zwischen den Speicherebenen migrieren, während gleichzeitig sichergestellt wird, dass die Anwendungen weiterhin reibungslos funktionieren.

Wir bei Xebia sind stolz darauf, diese Best Practices zur Kostenoptimierung zu implementieren, um sicherzustellen, dass wir unser höchstes Potenzial ausschöpfen und gleichzeitig unseren Kunden und Stakeholdern einen maximalen Nutzen bieten.