AWS DeepRacer: Der Verbindungsstift zwischen Cloud, IoT, Edge und Reinforcement Learning

Mit dem Deep Racer von Amazon können Sie ein kleines, echtes Auto digital steuern, das auf einem Reinforcement Learning-Modell basiert. Klingt lustig, oder? Thijs de Vries und Diederik Greveling haben Workshops mit dem DeepRacer abgehalten, um die Teilnehmer über AWS-Services und Reinforcement Learning zu informieren. Könnte DeepRacer der Beschleuniger für die Anwendung von Reinforcement Learning in der realen Welt sein?

Reinforcement Learning hat eine Menge Potenzial. Doch trotz der hohen Erwartungen befindet es sich seit ein paar Jahren auf der linken Seite des Hype Cycle von Gartner für KI. Der Fortschritt scheint langsam zu sein, wofür es mehrere Gründe gibt, erklärt Diederik. Er ist ein Ingenieur für maschinelles Lernen bei Xebia.

"Zunächst einmal: Reinforcement Learning ist ziemlich komplex. Datenwissenschaftler neigen dazu, sich von der Mathematik, die dahinter steckt, einschüchtern zu lassen. Der Agent, d.h. der Algorithmus, muss ständig die bestmögliche Belohnung für den jeweiligen Zustand berechnen. Wenn Sie es also von Grund auf implementieren wollen, müssen Sie diese Mathematik verstehen - zumindest ein bisschen."

Aber Reinforcement Learning ist mehr als 'nur' komplexe Mathematik, fügt Cloud-Berater Thijs hinzu. Er ist Dateningenieur bei Xebia.

"Reinforcement Learning erfordert eine Menge an Datenverarbeitung. Und mit viel meine ich wirklich sehr viel. Daher ist es am effizientesten, eine Cloud-Architektur zu verwenden. Dann können Sie z.B. 1.000 Maschinen gleichzeitig laufen lassen. Ohne Cloud-Technologie hätte der Google Go-Algorithmus die besten Go-Spieler der Welt nicht besiegen können. Er benötigte enorme Mengen an Rechenleistung, um kontinuierlich die beste Option aus Millionen von Möglichkeiten zu berechnen."

Anwendungsfälle für Reinforcement Learning

RL funktioniert am besten in Situationen, die gut simuliert werden können und in denen eine Menge Daten zur Verfügung stehen. Eine Simulation ist eine geschlossene Umgebung, mit der der Agent, der KI-Algorithmus, interagieren kann.

"Es muss ziemlich genau definiert sein, denn Sie wollen keine unendliche Anzahl von Variablen", sagt Thijs. Daher sind Brettspiele gute Anwendungsfälle, ebenso wie Kreuzungen mit Ampeln und das Ladenetz für Elektroautos.

Daten aus der realen Welt für Reinforcement Learning

Sie können eine Situation simulieren, um ein Reinforcement Learning-Modell zu erstellen, oder Sie können Daten aus der realen Welt verwenden.

Diederik: "Google verwendet jetzt Reinforcement Learning für die Klimakontrolle in seinen Rechenzentren. Das war möglich, weil ihnen riesige Datenmengen zur Verfügung standen."

Jetzt, wo Unternehmen über riesige Datenmengen verfügen, wird das Reinforcement Learning auch für sie leichter zugänglich.

Thijs sagt: "Immer mehr Unternehmen haben eine große Anzahl von Sensoren. Sie können die Daten daraus nutzen, um zum Beispiel Ihre Flotte effizientere Routen fahren zu lassen oder eine intelligente Wartung durchzuführen. Wenn Sie Ihre Cloud intelligent gestalten, können Sie Edge Computing für Ihr Reinforcement Learning-Modell einsetzen. Dann können Sie Daten relativ schnell und mit relativ geringer Bandbreite sammeln und nutzen."

Deep Racer als Verstärker für das Verstärkungslernen?

Diederik und Thijs glauben, dass Amazons Deep Racer dem Reinforcement Learning einen weiteren Schub geben wird. Mit AWS Deep Racer können Entwickler mit Reinforcement Learning experimentieren. Es nutzt die Cloud-Technologie, um die Komplexität der Erstellung und des Trainings eines Reinforcement Learning-Modells zu beseitigen. Die Benutzer melden sich bei der DeepRacer-Konsole an, um die Parameter ihres Modells zu optimieren; AWS trainiert das Modell für sie und macht damit Reinforcement Learning viel zugänglicher.

Entwickler können sogar in einer globalen autonomen Rennliga antreten. Diederik und Thijs verwenden Deep Racer, um zu zeigen, was Reinforcement Learning ist und wie es funktioniert. "Es ist ein sehr zugängliches Tool für alle Arten von Fähigkeiten", sagt Thijs. "Indem wir Softwareingenieuren, Datenwissenschaftlern und anderen interessierten Fachleuten Reinforcement Learning auf unterhaltsame und dennoch wettbewerbsorientierte Weise zugänglich machen, hoffen wir, die Fähigkeiten rund um Cloud und Reinforcement Learning zu entwickeln. Letztendlich könnte dies zu weiteren spannenden Anwendungsfällen für Reinforcement Learning führen." "Und was noch wichtiger ist", fügt Diederik hinzu.

"Es macht Spaß. Es macht Spaß, einen Algorithmus zu schreiben und sofort zu sehen, was die Ergebnisse Ihrer Bemühungen sind."