Sind Sie bereit für MLOps?

Einführung

MLOps hat den Hype-Zyklus überlebt und wird immer ausgereifter. Aber suchen wir bei MLOps nach Antworten für die richtigen Dinge? Egal wie wertvoll MLOps für Sie sein kann, ohne die richtigen Bausteine kann MLOps sein volles Potenzial nicht entfalten. Was sind die Voraussetzungen für MLOps? Auf welche Teile von MLOps sollten Sie sich konzentrieren? Wann sollten Sie überhaupt über MLOps nachdenken, oder wann ist es klüger, sich zunächst auf "normales" DevOps zu konzentrieren? Lesen Sie weiter und erfahren Sie mehr!

Darüber, bereit zu sein

Was bedeutet es also, bereit zu sein? Bereit zu sein bedeutet zu verstehen, warum Sie diese Technologie brauchen und was sie ist. Dann können wir anfangen zu verstehen, was nötig ist, um sie einzuführen und vor allem: welche Voraussetzungen dafür erforderlich sind. Wenn alle Voraussetzungen gegeben sind, können wir sagen, dass wir bereit sind.

Kurz gesagt, wenn Sie auf MLOps vorbereitet sind, verstehen Sie:

1. Warum MLOps einführen?
2. Was MLOps ist
3. Wenn Sie MLOps annehmen

... erst dann können Sie darüber nachdenken, wie Sie MLOps einführen können.

Denken Sie als Analogie an den Bau eines Hauses. Sie brauchen zuerst das richtige Fundament, bevor Sie höher bauen können. Jede Ebene muss richtig gebaut werden, bevor Sie vorankommen. Wenn das richtige Fundament nicht vorhanden ist, können Sie ein noch so schönes Haus auf dieses Fundament bauen, aber das Gebäude wird trotzdem nicht die Zeit überdauern.

Damit wir mit der Einführung von MLOps beginnen können, müssen die Voraussetzungen geschaffen werden, bevor wir darauf aufbauen können. Was sind diese Voraussetzungen? Lassen Sie uns gemeinsam herausfinden, ob Sie bereit sind.

Warum MLOps?

Warum sollten Sie sich mit MLOps beschäftigen? Lassen Sie uns zunächst untersuchen, welche Schmerzen Sie haben könnten, bei denen MLOps helfen kann. Lassen Sie uns zunächst eine Statistik einwerfen. Gartner berichtet, dass im Durchschnitt nur 54% der KI-Modelle von der Pilotphase in die Produktion übergehen:

... das ist nicht besonders viel. Was für eine Verschwendung! Wir haben viel Zeit damit verbracht , Modelle in die Produktion zu bringen, aber es ist uns nicht gelungen. Warum ist das so? Heutzutage ist Data Science beileibe kein neues Gebiet mehr. Die Zeit, in der die Hardvard Business Review den Data Scientist als "Sexiest Job of the 21st Century" bezeichnete, ist mehr als ein Jahrzehnt her
[1]
. Allein im Jahr 2019 sind die Stellenausschreibungen für Data Scientists auf Indeed um 256% gestiegen
^[2]
. Die Universitäten haben in rasantem Tempo Absolventen für Data Science hervorgebracht, und die Open-Source-Community hat die ML-Technologie leicht nutzbar und weithin verfügbar gemacht. Sowohl die Technik als auch die Fähigkeiten sind vorhanden:

Lassen Sie es mich also noch einmal wiederholen: Warum haben Teams immer noch Probleme, Machine Learning-Modelle in die Produktion zu bringen? Ein großer Teil des Grundes liegt in der Zusammenarbeit zwischen den Teams. Auch wenn wir uns alle einen nahtlosen Übergang von der Entwicklungsphase zur Produktion wünschen, können die Entwicklungsteams für maschinelles Lernen und die Betriebsteams gegensätzliche Interessen haben, was die Zusammenarbeit erschwert. Die Welt der Entwicklung und des Betriebs unterscheidet sich in verschiedenen Aspekten:

• ML-Entwicklungsteams sind auf Innovation und Geschwindigkeit ausgerichtet
  • Dev ML-Teams haben Rollen wie Data Scientists, Data Engineers, Business Owner.
  • Dev ML-Teams arbeiten agil und experimentieren schnell mit PoCs.
  • Dev ML-Teams arbeiten mit Jupyter Notebooks, Python, R usw.
• Die ML-Teams konzentrieren sich auf Stabilität und Zuverlässigkeit
  • Ops ML-Teams haben Rollen wie Plattform-Ingenieure, SREs, DevOps-Ingenieure, Software-Ingenieure, IT-Manager.
  • Ops ML-Teams arbeiten mit strikten Roadmaps, machen langfristige Pläne und müssen möglicherweise für den Bereitschaftsdienst verfügbar sein.
  • Ops ML-Teams arbeiten mit CI/CD-Pipelines, Kubernetes, Docker, Java, Scala, usw.

... das macht die Dinge nicht einfacher. Die Erwartung ist, dass Entwicklung und Betrieb auf magische Weise gut zusammenarbeiten. Wir können das Modell einfach an das Betriebsteam "übergeben" und sie werden sich darum kümmern. Das ist leider nicht der Fall.

Erwartung:

... versus Realität:

... solche Übergaben verlängern die Entwicklungszyklen unnötig und machen es schwierig, Feedback von den Produktionsmodellen an die Entwickler zu bekommen. Zusammenfassend lässt sich sagen, dass eine mangelnde Zusammenarbeit zwischen Entwicklung und Betrieb drei Probleme verursacht:

• ❌ Nur wenige Modelle in der Produktion ... oder Produktionslösungen erweisen sich als unzuverlässig.
• ❌ Lange Entwicklungszyklen ... um Modelle zu erstellen, zu aktualisieren oder Funktionen hinzuzufügen.
• ❌ Fehlendes Feedback ... zur Leistung und zum Mehrwert des Modells.

Wie kann man das lösen? Geben Sie MLOps ein.

Was ist MLOps?

MLOps kann Entwicklungs- und Produktionsteams helfen, besser zusammenzuarbeiten und Machine Learning-Modelle effizienter in der Produktion einzusetzen. MLOps macht die Entwicklungs- und die Produktionswelt besser miteinander vertraut und zielt darauf ab, die Welten näher zusammenzubringen.

Der Begriff hat seit 2018 an Popularität gewonnen
<sup>[3]

[4]</sup>
, als das maschinelle Lernen ein massives Wachstum erlebte. Fairerweise muss man sagen, dass inzwischen einige Jahre vergangen sind und wir den Hype inzwischen hinter uns gelassen haben:

Worin besteht also MLOps? Bei der Entwicklung von Machine Learning geht es nicht mehr nur um das Training eines ML-Modells. Wir befassen uns auch mit vielen anderen Dingen. Vorverarbeitung, Feature Engineering, Servicing, Scheduling und Monitoring, um nur einige zu nennen. Wir können diese Dinge in konkreten Methoden und Tools abbilden, die den technischen Teil von MLOps ausmachen:

... einige sind Ihnen vielleicht schon bekannt. Die großen Cloud-Anbieter kennen sie auch. Cloud-Anbieter haben auf den Bedarf des Marktes an besseren Werkzeugen im Bereich des maschinellen Lernens reagiert. In der Tat hat jeder große Anbieter eine Plattform für maschinelles Lernen, die Sie bei MLOps unterstützt:

Das ist äußerst nützlich. Es stehen nicht nur mehr Tools für MLOps zur Verfügung, sondern es gibt auch verwaltete Lösungen, die Sie sofort einsetzen können.

Erinnern wir uns an die drei Probleme, die wir bei Übergaben zwischen Entwicklungs- und Betriebsteams hatten. Erinnern Sie sich an sie? Wir können sie jetzt dem zuordnen, was MLOps uns zu geben verspricht, um uns bei diesen Problemen zu helfen.

... das klingt großartig! Wir haben MLOps als eine wichtige Methode, um die Übergabe zu reduzieren und Entwicklung und Betrieb näher zusammenzubringen. Aber was befähigt und ermöglicht MLOps eigentlich? Was brauchen wir, um MLOps erfolgreich durchzuführen? Haben wir schon einmal Dev- und Ops-Teams zusammengebracht? In der Tat, das haben wir! Es steckt im Namen! Geben Sie DevOps ein.

DevOps in der Mischung

MLOps ist weitgehend von DevOps inspiriert
^[5]
. DevOps gibt es schon länger und ist etablierter und ausgereifter. Seit 2007 ist DevOps eine sehr einflussreiche Methodik in der Softwareentwicklung. Der Schlüssel ist, dass die Entwicklung nicht sequentiell, sondern kontinuierlich erfolgt, was sich am besten anhand des DevOps-Lebenszyklus veranschaulichen lässt:

Die wichtigsten Grundsätze von DevOps sind
^[6]
:

• Automatisierung
• Zusammenarbeit & Kommunikation
• Kontinuierlich verbessern
• Fokus auf die Bedürfnisse der Benutzer

... und wie spielt MLOps mit DevOps zusammen? DevOps kommt aus der Welt der Softwareentwicklung und beschäftigt sich daher mit Code. Beim maschinellen Lernen sind jedoch auch die Daten und das Modell wichtig:

Was MLOps von DevOps unterscheidet, ist die Berücksichtigung der Automatisierung von Vorgängen im Zusammenhang mit dem gesamten Code, den Daten und dem Modell. Bei der Automatisierung überprüfen wir zum Beispiel kontinuierlich die Datenqualität, trainieren Modelle und führen Inferenzen durch, um den Zustand unseres Machine Learning-Systems zu garantieren.

Dies bedeutet, dass wir unsere Überwachungspraktiken kontinuierlich in den Schritt der Modellbildung einfließen lassen, etwa so:

Das ist großartig. Also noch einmal: Was ist das Zusammenspiel zwischen DevOps und MLOps? Es ist klar, dass MLOps viel von DevOps geliehen hat. Aber inwiefern brauchen wir DevOps, um MLOps durchzuführen? Wir sind der Meinung, dass Sie DevOps einführen müssen, bevor Sie MLOps durchführen können. DevOps ist eine Voraussetzung für MLOps. Es ist, als würde man Bausteine aufeinander stapeln, um ein solides Fundament zu schaffen, bevor man höher baut:

Das ist doch vielversprechend, nicht wahr? Nun, das ist es auch, aber es ist auch ein gewisser organisatorischer Aufwand erforderlich. Bei MLOps geht es nicht nur um Technik.

Der MLOps-Twist

Bei MLOps geht es um mehr als nur Technik. Bei MLOps geht es um die Gesamtheit von Technologie, Menschen und Prozessen. MLOps richtig zu machen bedeutet, alle drei Aspekte sorgfältig zu berücksichtigen:

Was bedeutet das? Das bedeutet, dass wir im MLOps-Lebenszyklus wollen, dass das ML-Produktteam über den gesamten ML-Lebenszyklus hinweg tätig ist und den gesamten Prozess in der Hand hat:

... das bedeutet in der Tat, dass wir eine Vielzahl von Rollen in einem Team benötigen. Data Scientists, Machine Learning Engineers, Data Engineers und so weiter müssen zusammenarbeiten. Wenn sie zusammenarbeiten, kann die Übergabe minimiert werden und es können Modelle erstellt werden, die tatsächlich produktionsreif sind.

Um ein solches ML-Produktteam zu unterstützen, wird ein ML-Plattformteam eingesetzt, um es zu befähigen. In einem zentralen Team können sie dem ML-Produktteam Best-Practices und Tools zur Verfügung stellen. Entscheidend ist jedoch, dass die ML-Produktteams nach wie vor für den Prozess von der Entwicklung bis zum Betrieb verantwortlich sind:

... zugegeben, das ist alles nicht einfach. Organisatorische Veränderungen auf dem Papier zu entwerfen ist einfacher als sie tatsächlich durchzuführen. Es erfordert ernsthafte Anstrengungen, Ihre bestehende Struktur in Frage zu stellen und Ihre Organisation umzustrukturieren. Aber fragen Sie sich selbst - ist es das wert? Gibt es in Ihrem Unternehmen ein ernsthaftes Potenzial für maschinelles Lernen, das Sie nutzen möchten? Wenn ja, dann tun Sie es.

Abschließend: Wann sollten Sie MLOps einsetzen?

Wir haben eine Menge gelernt. Wir sollten MLOps einsetzen, um Übergaben zwischen Entwicklungs- und Betriebsteams zu vermeiden und die betriebliche Effizienz des Software-Engineering in die Welt des maschinellen Lernens zu bringen. MLOps tut dies, indem es nützliche Technologien und Werkzeuge bereitstellt, die von den großen Cloud-Anbietern weitgehend angeboten werden. MLOps ist weitgehend von DevOps inspiriert, das eine Voraussetzung für MLOps ist. Dadurch konnte die Branche die Vorteile ausgereifter DevOps-Konzepte wie Automatisierung, Zusammenarbeit und kontinuierliche Verbesserung nutzen. Führen Sie MLOps nur dann durch, wenn Sie Ihre DevOps-Praktiken bereits eingeführt haben.

Wenn Sie dies tun, könnten Sie sich dadurch in eine bessere Position bringen. Nehmen Sie die organisatorischen Investitionen an und bringen Sie Ihre Teams enger zusammen. Wir wünschen Ihnen viel Glück auf Ihrem Weg - und helfen Ihnen gerne dabei.

• 
  [1] https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century
  
• 
  [2] https://www.hiringlab.org/2019/01/17/data-scientist-job-outlook/
  
• 
  [3] https://trends.google.com/trends/explore?date=all&q=mlops
  
• 
  [4] https://www2.deloitte.com/content/dam/Deloitte/global/Images/infographics/technologymediatelecommunications/gx-deloitte-tmt-2018-predictions-full-report.pdf
  
• 
  [5] https://en.wikipedia.org/wiki/MLOps
  
• 
  [6] https://about.gitlab.com/topics/devops/
  
• 
  [7] https://ml-ops.org/content/crisp-ml
  
• Banner-Bild von Unsplash.