So halten Sie die AWS CloudWatch-Protokolle sauber und aufgeräumt

AWS CloudWatch logs ist ein nützliches Protokollierungssystem, aber in der Praxis stoßen wir auf zwei Probleme: Es erlaubt Ihnen nicht,
einen Standard-Aufbewahrungszeitraum für neu erstellte Protokollgruppen festzulegen. Zweitens löscht es keine leeren Protokollströme
, die älter als die Aufbewahrungsfrist sind. In diesem Blog stellen wir ein Dienstprogramm vor, das diese beiden Probleme beheben wird. Es kann
als CLI installiert oder als AWS Lambda bereitgestellt werden.
Dieses Dienstprogramm bietet zwei Funktionen:

1. eine Aufbewahrungsrichtlinie auf Protokollgruppen anwenden, für die es noch keine gibt.
2. leere Protokollströme entfernen, die älter als die Aufbewahrungsfrist der Protokollgruppe sind.
   Dieses Dienstprogramm kann über die Befehlszeile verwendet werden. Sie können es auch als AWS Lambda-Funktion installieren und Ihre
   Protokolle in Ordnung halten, im NoOps-Stil!

Installieren Sie das Dienstprogramm

um das Dienstprogramm zu installieren, geben Sie ein:

pip install aws-cloudwatch-log-minder

Aufbewahrungsfrist festlegen

um die Standardaufbewahrungszeit für Protokollgruppen ohne eine solche festzulegen, geben Sie ein:

cwlog-minder --dry-run set-log-retention --days 30

Dies zeigt Ihnen Protokollgruppen an, für die keine Aufbewahrungsfrist festgelegt wurde. Entfernen Sie dazu die --dry-run und
.

Leere Log-Streams löschen

Um leere Protokollströme zu löschen, die älter als die Aufbewahrungsfrist sind, geben Sie ein:

cwlog-minder --dry-run delete-empty-log-streams

Dies zeigt Ihnen, welche leeren Protokollströme gelöscht werden. Entfernen Sie die --dry-run und
werden diese Streams gelöscht.

Als Lambda bereitstellen

Um das Dienstprogramm als AWS Lambda bereitzustellen, geben Sie ein:

git clone https://github.com/binxio/aws-cloudwatch-log-minder.git
cd aws-cloudwatch-log-minder
aws cloudformation create-stack 
        --capabilities CAPABILITY_IAM 
        --stack-name aws-cloudwatch-log-minder 
        --template-body file://./cloudformation/aws-cloudwatch-log-minder.yaml

aws cloudformation wait stack-create-complete  --stack-name aws-cloudwatch-log-minder

Dadurch wird das Dienstprogramm in Ihrem AWS-Konto installiert und jede Stunde ausgeführt. Der zusätzliche Vorteil
ist, dass die Wartung der Protokollgruppen automatisiert und parallel ausgeführt wird.

Fazit

Dieses Dienstprogramm bietet eine Lösung für zwei Probleme, auf die Sie bei der Arbeit mit AWS CloudWatch stoßen werden.
legt eine Aufbewahrungsrichtlinie für Protokollgruppen fest, die außerhalb der Kontrolle des Benutzers erstellt wurden, und
löscht leere Protokollströme, die älter als die Aufbewahrungsfrist sind. Es wäre natürlich toll, wenn
AWS letzteres beheben würde.