Mehr Nachhaltigkeit für Ihre AWS-Arbeitslasten

Lassen Sie Ihr Licht, Ihre Klimaanlage oder andere Geräte an, wenn Sie nicht zu Hause sind? Oder würden Sie sie ausschalten? Im Allgemeinen hat man uns beigebracht, Energie zu sparen, indem man Geräte ausschaltet, wenn sie nicht benutzt werden. Das ist gut für einen effizienten Energieverbrauch, Ihre monatliche Stromrechnung und auch für die Umwelt. Können wir einen ähnlichen Ansatz anwenden, um nachhaltige AWS-Workloads zu schaffen?

Nachhaltige AWS-Arbeitslasten

Mein Freund und Kollege Mudit Gupta von Xebia hat bereits in seinem Blog darauf hingewiesen, wie Kostenoptimierung und ökologische Nachhaltigkeit in der Cloud Hand in Hand gehen können Nachhaltigkeit in der Cloud - eine Vereinigung von FinOps und GreenOps. In diesem Blog gehen wir einen Schritt weiter und prüfen Tools, Services und Praktiken, die wir anwenden können, um AWS-Arbeitslasten umweltverträglicher zu machen.

Quelle: Das Modell der gemeinsamen Verantwortung - Säule Nachhaltigkeit

Wenn Sie Ihre AWS-Reise bereits begonnen haben, sollten Sie stolz darauf sein, denn durch den Wechsel von On-Premise zu Cloud hilft AWS seinen Kunden bereits, ihren CO2-Fußabdruck um 88% zu reduzieren (Quelle: Neu - Customer Carbon Footprint Tool | AWS News Blog)

Lassen Sie uns nun prüfen, ob die in der Cloud gehosteten Workloads umweltverträglich sind. Wir werden uns mit drei Hauptbereichen befassen: Rechenleistung, Speicher und Netzwerke.

Berechnen Sie

Ungenutzte/Unterausgelastete Ressourcen

Es gibt Ressourcen, die in der Cloud laufen, auch wenn wir diese Ressource nur zu Test- oder POC-Zwecken erstellt haben. Lassen Sie uns einige dieser Szenarien überprüfen:

Szenarien:

1. Studenten/jeder, der sich für den Free Tier eingeschrieben hat oder sich die Hände schmutzig machen möchte, indem er mit AWS spielt und Ressourcen am Laufen hält.
2. Entwickler/Tester schalten Rechenressourcen für die Entwicklung/Tests frei und lassen die Ressourcen auch außerhalb der Geschäftszeiten/Wochenenden laufen.
3. EC2-Instanzen in Produktion, die überdimensioniert sind.
4. EKS/EMR/Redshift-Cluster, die überdimensioniert sind.
5. Ineffiziente Nutzung von AWS AppStream

Diese Liste lässt sich fortsetzen.

Wichtige Metriken

Um ungenutzte/unterausgelastete Ressourcen zu identifizieren, ist AWS CloudWatch Ihr bester Freund. Wir können die unten abgebildeten CloudWatch Metriken verwenden, um ungenutzte/unterausgelastete Ressourcen zu überprüfen.

Dienste	CloudWatch Metriken
AWS EC2	CPUUtilization, Gesamtzahl der vCPUs
AWS ECS	CPUUtilization
AWS EKS	CPUUtilization
AWS EMR	Ist im Leerlauf
AWS RDS	Anzahl von Verbindungen
AWS LB	ActiveConnectionCount, HealthyHostCount
AWS AppStream	ActualCapacity, AvailableCapacity, InUseCapacity, CapacityUtilization

Es gibt mehr Dienste und Tools, um ungenutzte Ressourcen zu reduzieren und die Nutzung zu maximieren:

1. AWS aktivieren Vertrauenswürdiger Berater um ungenutzte oder nicht ausgelastete EC2-Instanzen, Datenbankinstanzen, Redshift-Cluster, EBS-Volumes oder ungenutzte/unterausgelastete Load Balancer zu identifizieren. Mit Vertrauensvoller Berater können Sie auch Lambda-Funktionen mit übermäßiger Speichergröße und Funktionen mit übermäßigen Zeitüberschreitungen identifizieren. Der Trusted Advisor kann auch auf Organisationsebene ausgeführt werden und Empfehlungen für alle in der Organisation laufenden Ressourcen geben.
2. AWS Auto Scaling: Mit AWS Auto Scaling können Sie Ressourcen automatisch hoch- und herunterskalieren. Bei der Definition der Auto Scaling-Gruppe sollten Sie die Mindest- und Höchstwerte angeben, die nicht gleich sein sollten.
3. Sie können die folgenden Skalierungstypen je nach Ihren Anforderungen verwenden:
   • Skalierung der Zielverfolgung: Es wird empfohlen, diese Richtlinie zu verwenden, wenn Sie ein Ziel für Metriken haben AverageCPUutilization oder die RequestCountPerTarget.
   • Schrittweise Skalierung: Wenn die CPU-Auslastung 50% erreicht, können Sie 1 weitere EC2-Instanz hinzufügen, und wenn die CPU-Auslastung 60% erreicht, können Sie 1 weitere EC2-Instanz hinzufügen.
4. Skalierung auf Basis von SQS: In einigen Szenarien können Sie ASG auch auf der Grundlage der Last in einer AWS SQS-Warteschlange konfigurieren. Siehe als Referenz: Skalierung auf der Grundlage von Amazon SQS - Amazon EC2 Auto Scaling.
   • Prädiktives Skalieren: Auf der Grundlage täglicher und wöchentlicher Muster im Datenverkehr können wir EC2-Instanzen proaktiv vergrößern/verkleinern. Er eignet sich gut für zyklischen Datenverkehr, wiederkehrende Batch-Workload-Muster und Anwendungen, deren Initialisierung viel Zeit in Anspruch nimmt. Dies ist ein geplanter Skalierungsansatz im Vergleich zur dynamischen Skalierung, die ein reaktiver Ansatz ist und eine Kaltstartzeit haben kann.
5. Geplante Skalierung: Wenn Sie wissen, dass zu einer bestimmten Tages- oder Wochenzeit der Datenverkehr zunimmt oder abnimmt, können Sie eine Richtlinie für die zeitlich geplante Skalierung konfigurieren.
6. AWS Instance Scheduler: Es hilft Ihnen, Ihre AWS EC2 und AWS RDS Instanzen automatisch zu starten und zu stoppen. Sie können dies zum Beispiel in Ihrer Entwicklungs- oder einer anderen Umgebung implementieren, um Ressourcen am Wochenende oder außerhalb der Geschäftszeiten zu stoppen. Dadurch werden Kosten und Energieverbrauch gesenkt.

Richtige Dimensionierung

• Wenn Sie Arbeitslasten mit unvorhersehbaren Spitzen haben, können Sie die Verwendung von burstable T-Typ Instanzen. Dies reduziert die Notwendigkeit einer Überversorgung mit Kapazität.
• Sie können AWS Trusted Advisor und Compute Optimiser verwenden, um Empfehlungen für die richtige Dimensionierung Ihrer Arbeitslast zu erhalten.
• Wechseln Sie zu Graviton2-basierten Instanzen. Graviton2 ist der stromsparendste Prozessor. Darüber hinaus bietet Graviton2 ein bis zu 40% besseres Preis-Leistungs-Verhältnis als vergleichbare Instanzen der aktuellen Generation mit x86-Architektur.
• AWS Compute Optimizer: Durch die Aktivierung von AWS Compute Optimizer können wir sicherstellen, dass die von uns bereitgestellten Ressourcen nicht ausgelastet oder überlastet sind. AWS Compute Optimizer empfiehlt optimale AWS-Ressourcen für Ihre nachhaltigen AWS-Arbeitslasten, um Kosten zu senken und die Leistung zu verbessern, indem maschinelles Lernen zur Analyse historischer Auslastungsmetriken eingesetzt wird. Er deckt drei Arten von AWS-Services ab - AWS EC2, AWS EBS und AWS Lambda. Wir können AWS Compute Optimizer auf Unternehmensebene nutzen und über ein eigenes Konto verfügen, das alle Empfehlungen zentral verwaltet.

Spot-Instanzen verwenden

• Spot-Instances nutzen freie Kapazitäten, die viel billiger sind als On-Demand-Instances.
• Indem Sie Ihre Nachfrage an das vorhandene Angebot einer EC2-Instanzkapazität anpassen, verbessern Sie Ihre allgemeine Ressourceneffizienz und reduzieren ungenutzte Kapazitäten.

Lagerung

Da Daten das neue Gold sind, arbeitet jedes Unternehmen daran, seine Daten effizient und effektiv zu verwalten. Wir speichern riesige Datenmengen, aber manchmal sind wir nicht sicher, wann oder wie lange wir diese Daten benötigen. Eine effektive Datenverwaltung ist daher wichtig für die Nachhaltigkeit, da eine ineffektive Nutzung von Speicherressourcen in der Cloud zu Energie- und Geldverschwendung führen kann. Um die Datenspeicherung effizient zu gestalten, bietet AWS verschiedene Speicheroptionen und Richtlinien zur Verwaltung des Datenlebenszyklus. Schauen wir uns einige davon an.

Analysieren Sie Datenzugriffs- und -nutzungsmuster

• Identifizieren Sie die Datennutzungsmuster:
  • Daten, auf die nur selten zugegriffen wird, können auf einem Magnetspeicher statt auf einem Solid-State-Laufwerk gespeichert werden.
  • Für Anwendungsfälle der Datenarchivierung sollten Sie den Einsatz von Amazon EFS Infrequent Access, Amazon EBS Cold HDD-Volumesund Amazon S3 Glacier.
• Um Daten während ihres gesamten Lebenszyklus effizient zu speichern, sollten Sie das AWS S3 Lebenszyklus-Management. Es überträgt Daten automatisch von einer Speicherklasse zur anderen. .
• Für Daten mit unbekannten oder wechselnden Zugriffsmustern verwenden Sie Amazon S3 Intelligent-Tiering um Objekte abhängig von den Zugriffsmustern der Objekte automatisch zwischen S3-Speicherklassen zu verschieben.
• Sie sollten auch Lifecycle Management für die unten genannten Dienste in Betracht ziehen:
  • AWS EFS
  • EBS-Schnappschuss
  • RDS-Schnappschuss
  • AWS EFS

Optimieren Sie Datenformate

• Spaltenbasierte Datenformate sind im Vergleich zur zeilenorientierten Speicherung sehr effizient. Die spaltenorientierte Speicherung kann die Menge der von der Festplatte abgerufenen Daten erheblich reduzieren, da nur auf die Spalten zugegriffen werden kann, die für die jeweilige Abfrage oder Arbeitslast relevant sind.
• Sie können die Leistung verbessern und die Abfragekosten von Amazon Athena um 30-90 Prozent senken, indem Sie Ihre Daten komprimieren, partitionieren und in Spaltenformate wie Parquet konvertieren.

Reduzieren Sie ungenutzte Speicherressourcen

Eine effiziente Nutzung des Speichers hilft auch beim Erreichen der Nachhaltigkeitsziele. Wir sehen, dass EBS überdimensioniert ist oder mit keiner EC2-Instanz verbunden ist. Außerdem wurde keine Aufbewahrungsfrist für CloudWatch Logs festgelegt, da sich die Logs immer weiter anhäufen und niemand sie nutzt.

1. Wir sollten ungenutzte EBS-Volumes löschen. Definieren Sie außerdem den Amazon Data Lifecycle Manager so, dass er EBS-Snapshots und Amazon EBS-gestützte Amazon Machine Images (AMIs) automatisch beibehält und löscht.
2. Definieren Sie die Aufbewahrungsfrist für CloudWatch-Protokolle.

Daten deduplizieren

Große Datensätze enthalten oft redundante Daten, die Ihren Speicherplatzbedarf erhöhen können.

• Wenn Sie die Datendeduplizierung für Ihren Amazon FSx für Windows File Server aktivieren, optimieren Sie die Datenspeicherung. Bei allgemeinen Dateifreigaben kann der Speicherplatz durch Deduplizierung um 50-60 Prozent reduziert werden.
• Wenn Sie Datensätze in Amazon S3 haben, können Sie Duplikate automatisch beseitigen, indem Sie die FindMatches Transformation die von AWS Lake Formation.

Wichtige Überwachungsmetriken zur Kontrolle der Datenspeicherung:

Service	Metrisch
AWS S3	BucketSizeBytes, S3 Objektzugriff
AWS EBS	VolumeIdleTime
AWS EFS	SpeicherBytes
Amazon FSx für Lustre	FreieDatenSpeicherkapazität
Amazon FSx für Windows File Server	FreieSpeicherkapazität

Networking

Wenn Sie Ihre Anwendungen für mehr Kunden zur Verfügung stellen, steigt die Anzahl der Pakete, die über das Netzwerk übertragen werden. Und je größer die Datenmenge und je weiter die Strecke, die ein Paket zurücklegen muss, desto mehr Ressourcen werden für die Übertragung benötigt. Wenn wir das Netzwerk nicht optimieren, kommt es zu Latenzproblemen und zu einem ineffizienten Energieverbrauch. Lassen Sie uns verstehen, was getan werden kann, um das Netzwerk zu optimieren.

Verringern Sie den Weg der Daten.

Die Datenübertragung wird effizienter, wenn wir die über das Netzwerk gesendeten Daten reduzieren, die Pfade für Pakete optimieren und Komprimierungstechniken einsetzen.

Halten Sie die Datenübertragung innerhalb einer Region und AZ:

• Wenn Sie Daten zwischen AWS EC2/Lambda und S3 übertragen, stellen Sie in Ihrer Anwendung sicher, dass diese Übertragungen innerhalb derselben Region stattfinden.

• Auch bei der Übertragung von Daten in und aus Services wie AWS RDS, AWS EC2, AWS EKS, Redshift und anderen AWS-Service-Instanzen stellt AWS Ihnen Gebühren in Rechnung, wenn Daten von einer Availability Zone in eine andere verschoben werden, aber das ist auch keine gute Praxis für die Nachhaltigkeit.
• Wenn Ihre Anwendung intern kommuniziert, verwenden Sie Private IP für die Kommunikation.
• Wenn Ihre Anwendung zwischen zwei VPCs (gleiches oder unterschiedliches Konto) kommuniziert, verwenden Sie VPC Peering oder Transit Gateway.

Replikate lesen

• Wenn Ihre Arbeitslast innerhalb einer einzigen Region liegt, sollten Sie die Regionen wählen, die Ihren Endbenutzern am nächsten sind.
• Wenn Sie eine globale Präsenz haben, können Sie mehrere Kopien von Read Replica in AWS RDS und AWS Aurora einrichten. Globale Amazon DynamoDB-Tabellen ermöglichen eine schnelle Leistung und verringern die Netzwerkbelastung.

CloudFront CDN - Netzwerk zur Bereitstellung von Inhalten

Mit einem Content Delivery Network können Sie Daten näher an den Benutzer bringen. Wenn sie angefordert werden, werden statische Inhalte vom ursprünglichen Server in den Cache gestellt und an den Benutzer geliefert. Dadurch verkürzt sich die Strecke, die jedes Paket zurücklegen muss.

• AWS bietet CloudFront, einen Dienst der die Netzwerkauslastung optimiert und den Datenverkehr über das global verteilte Edge-Netzwerk von CloudFront liefert.
• Außerdem sollten Sie einen Vertrauensvoller Berater aktiviert haben, da es eine Prüfung enthält, die empfiehlt, ob Sie ein CDN für Ihre S3-Buckets verwenden sollten. Es analysiert die aus Ihrem S3-Bucket übertragenen Daten und kennzeichnet die Buckets, die von einer CloudFront-Verteilung profitieren könnten.
• Cache-Trefferrate: CloudFront speichert verschiedene Versionen eines Objekts in Abhängigkeit von den Anfrage-Headern (z. B. Sprache, Datum oder Benutzer-Agent). Mit einer Trusted Advisor-Prüfung können Sie die Cache-Trefferrate Ihres CDN weiter optimieren (die Anzahl der Zugriffe auf ein Objekt vom CDN im Vergleich zum Ursprung). Er prüft automatisch auf Header, die das Objekt nicht betreffen, und empfiehlt dann eine Konfiguration, die diese Header ignoriert und die Anfrage nicht an den Ursprung weiterleitet.

Edge Computing

• CloudFront Funktionen können Berechnungen an Edge-Standorten durchführen und Lambda@Edge kann regionale Edge-Caches erzeugen. AWS IoT Greengrass bietet Edge-Computing für Geräte des Internets der Dinge (IoT).

• Auf der letzten re:Invent hat AWS eine Ankündigung für AWS Lokale Zonen zur Ausführung von Anwendungen mit niedriger Latenz am Rand.

Im Folgenden finden Sie einige Metriken, die Ihnen bei der Optimierung des Netzwerks helfen können.

Service	Metrisch/Check
Amazon CloudFront	Cache-Trefferrate
Amazon Simple Storage Service (Amazon S3)	Datenübertragung in/aus einem Bucket
Amazon Elastic Compute Cloud (Amazon EC2)	NetzwerkPaketeEin/NetzwerkPaketeAus
AWS Vertrauenswürdiger Berater	CloudFront Optimierung der Inhaltsbereitstellung

Reduzieren Sie die Datenmenge in Ihrem Netzwerk

Daten komprimieren

• CloudFront speichert nicht nur statische Inhalte im Cache, sondern kann auch zur Optimierung des Netzwerks beitragen, indem es komprimierte Dateien bereitstellt. Wir können CloudFront so konfigurieren, dass Objekte automatisch komprimiert werden, was zu schnelleren Downloads und damit zu einer schnelleren Darstellung von Webseiten führt.

Optimieren von APIs

• Erwägen Sie die Reduzierung der API-Größe, um den Netzwerkverkehr zu verringern, indem Sie Komprimierung Ihre Nachrichten für Ihre REST-API-Nutzdaten komprimieren, wenn Ihre Nutzdaten groß sind. Edge-optimierte API-Endpunkte sind am besten für geografisch verteilte Kunden geeignet. Regionale API-Endpunkte eignen sich am besten, wenn Sie einige wenige Kunden mit höheren Anforderungen haben, da sie dazu beitragen können, den Verbindungs-Overhead zu reduzieren. Das Zwischenspeichern Ihrer API-Antworten reduziert den Netzwerkverkehr und verbessert die Reaktionsfähigkeit.

Abgesehen von den Dingen, die wir besprochen haben, möchte ich noch die folgenden Punkte hinzufügen:

1. Der Standort ist wichtig: AWS hat über die Website Amazon Around the Globe veröffentlicht, um seine Nachhaltigkeitsmaßnahmen zu präsentieren. Um die Nachhaltigkeit voranzutreiben, können wir Projekte für erneuerbare Energien wie Wind- oder Solarfarmen auf einer Karte überprüfen und unsere Region auswählen.
2. Nutzen Sie AWS Managed Services: Die Verwaltung von Diensten wie Datenbanken, Container-Plattformen und Plattformen für Datentechnik und -analyse ist nicht nur eine anspruchsvolle Aufgabe, sondern führt auch zu einer ineffizienten Ressourcennutzung. Um dies zu vermeiden, sollten Sie den AWS Managed Service nutzen, bei dem AWS den größten Teil der Verantwortung übernimmt. Im Folgenden finden Sie einige von AWS verwaltete Services.

Ich hoffe, Sie finden diesen Blog hilfreich, um Ihre Praxis der nachhaltigen Entwicklung zu beginnen. Wenn wir die Überwachung und Protokollierung effizient durchführen, können wir mit Sicherheit mehr Möglichkeiten für nachhaltige AWS-Arbeitslasten finden.