Wie Sie die Leistung Ihres MLOps messen

In den letzten Jahren hat die Disziplin der Machine Learning Operations (MLOps) viel Zulauf erhalten, um mehr Machine Learning (ML)-Lösungen in die Produktion zu bringen, Iterationszyklen zu verkürzen und die Kosten für Entwicklung und Wartung zu senken.

Ironischerweise messen wir in einer Disziplin, die ihre Produkte auf der Grundlage von Daten entwickelt, unsere eigene Leistung oft nicht mit Daten.

Wie können Sie den Reifegrad Ihres Unternehmens im Bereich MLOps beurteilen? Wie können Sie messen, was Ihre Teams leisten? In diesem Blog schlagen wir Ihnen Indikatoren und Metriken vor, mit denen Sie die Leistung Ihrer MLOps-Praxis bestimmen können.

Indikatoren für MLOps-Fähigkeit

Die Umsetzung der MLOps-Prinzipien ist nicht nur eine technische Übung. Die Einführung neuer Tools ohne die richtigen Fähigkeiten und Praktiken wird die Leistung des Teams nicht verbessern. Der Aufbau einer starken MLOps-Fähigkeit erfordert vielmehr Investitionen in drei verschiedenen Bereichen: Menschen, Prozesse und Technologie. Was sind Indikatoren für unreife und reife Stadien in diesen Bereichen?

Ausgereifte MLOps-Unternehmen setzen funktionsübergreifende ML-Teams mit klar definierten Rollen ein, z. B. Datenwissenschaftler, Ingenieure für maschinelles Lernen und MLOps-Ingenieure. Diese Teams sind eigenständig und für die Lösung von der Konzeption bis zur Produktion verantwortlich. Regelmäßiges Feedback der Endbenutzer ist für den Erfolg unerlässlich. Kurze Iterationszyklen ermöglichen schnelle Verbesserungen. Dedizierte MLOps-Teams tragen zur Verbesserung der Effizienz und Autonomie bei, indem sie MLOps-Plattformen aufbauen und Best Practices festlegen.

Wie Sie Ihre MLOps-Fähigkeit reifen lassen: Beispiele für Reifegradindikatoren.

Diese Indikatoren helfen dabei, den Zustand der gesamten MLOps-Fähigkeit zu messen, aber wie kann man die Leistung der Teams auf diesem Weg bewerten?

Metriken für ML- und MLOps-Teams

ML-Teams und MLOps-Teams haben ihren eigenen Fokus und ihre eigenen Metriken. Data Scientists und Machine Learning Engineers in ML-Teams entwickeln ML-Produkte, um Geschäftsprobleme zu lösen. MLOps-Teams unterstützen ML-Teams durch den Aufbau von Plattformen und die Festlegung von Best Practices.

Ein zentrales MLOps-Team unterstützt mehrere funktionsübergreifende ML-Teams

Die Leistung von ML-Teams lässt sich anhand der vier von DORA(DevOps Research and Assessments) definierten Leistungskennzahlen für die Softwarebereitstellung messen. Je schneller Sie Änderungen an Ihren ML-Modellen vornehmen können (Metriken "Bereitstellungshäufigkeit" und "Vorlaufzeit für Änderungen"), desto schneller können Sie Ihren Benutzern einen Mehrwert bieten und deren Feedback einholen. Je zuverlässiger Ihre Lösungen sind (Metriken "Ausfallrate von Änderungen" und "Zeit bis zur Wiederherstellung"), desto zufriedener sind Ihre Benutzer und desto mehr Zeit hat Ihr Team, um an der Verbesserung der Modelle zu arbeiten, anstatt sie nur zu warten.

MLOps-Plattformteams sollten sich auf ML-Teams konzentrieren, aber ihr Erfolg sollte nicht nur anhand der Metriken von ML-Teams gemessen werden. Zusätzliche Produktmetriken sollten zeigen, wie viele Teams die Plattform nutzen ("Plattformakzeptanz"), wie zufrieden diese Nutzer sind ("Nutzerzufriedenheit"), wie gut sie ihre Bedürfnisse erfüllt ("Abdeckung der Fähigkeiten") und wie kosteneffizient die Plattform ist ("Kosten pro Nutzer").

Leistungsmetriken für ML- und MLOps-Teams. Angepasst von https://dorametrics.org/

Für Teams, die Produkte mit Daten entwickeln, ist es eine Ironie, dass wir unsere Leistung oft nicht mit Daten messen. Diese Indikatoren und Metriken werden Ihre MLOps-Praktiken datenorientierter machen.

Über MLOps hinausgehen

Sind Sie daran interessiert, Ihren Reifegrad im gesamten Bereich Daten & KI zu bewerten? Lesen Sie unser Whitepaper"AI Maturity Journey"!