Warum Unternehmen einen ML Solutions Architect benötigen

Projekte im Bereich des maschinellen Lernens (ML) scheitern häufig, obwohl sich Unternehmen stark auf die Implementierung von MLOps konzentrieren.
¹
. Meiner Erfahrung nach liegt das oft an diesen drei häufigen Problemen.

• Falsch abgestimmte geschäftliche und technische Ziele
• Unzureichende Risikominderung
• Mangelnde Reife

Nicht aufeinander abgestimmte geschäftliche und technische Ziele behindern eine effektive Zusammenarbeit. Dies führt zu ML-Lösungen, die auf der Suche nach einem Problem entwickelt werden, anstatt ML-Lösungen, die sich auf die Schaffung von Mehrwert konzentrieren. Unzureichende Risikominderung führt zu unvorhergesehenen Herausforderungen. Ethische und rechtliche Einschränkungen können beispielsweise erst in einem späten Projektstadium erkannt werden und erhebliche Nacharbeiten erforderlich machen, die den Fortschritt zum Erliegen bringen. Schließlich erhöht ein Mangel an Reife die Wahrscheinlichkeit, die falschen technischen und architektonischen Entscheidungen zu treffen. Dies führt zu ML-Lösungen, die nur schwer in der Produktion eingesetzt werden können, und zu Lösungen, die schwer zu warten sind.

Wenn diese Probleme nicht proaktiv angegangen werden, führt dies dazu, dass sich Projekte nicht rentieren. Unternehmen übernehmen die Rolle des ML-Lösungsarchitekten, um dieses Problem anzugehen. In den folgenden Abschnitten wird erörtert, wie ein ML-Lösungsarchitekt dies bewerkstelligt:

• Klare Ziele: Durch die Zusammenarbeit mit den Geschäftsinteressenten können technische und geschäftliche Ziele definiert werden. Dadurch wird sichergestellt, dass ML-Projekte einen klaren Umfang haben.
• Durchführbarkeit: Wenn Sie die Einschränkungen eines ML-Projekts verstehen, können Sie die Durchführbarkeit analysieren und alle erkennbaren Risiken berücksichtigen. Dies ermöglicht die Festlegung eines realistisch erreichbaren Umfangs.
• Technische Standards und Prozesse: Die Verbesserung der technischen Kompetenz von Teams erhöht die Reife. Sie ermöglicht es Unternehmen, immer komplexere Projekte in Angriff zu nehmen und Teams, die richtige Technologie richtig einzusetzen.

_{[1] MLOps steht für Machine Learning Operations. MLOps konzentriert sich auf Fachwissen und Werkzeuge für den autonomen Aufbau und die Wartung von ML-Lösungen. Lesen Sie dieses Whitepaper über MLOps für weitere Informationen.}

Klare Zielsetzungen

Die Überbrückung der Kluft zwischen technischen Teams und geschäftlichen Interessengruppen ist entscheidend. Unternehmen tun sich schwer damit, den Wert von ML effektiv zu kommunizieren. Der ML-Lösungsarchitekt arbeitet mit dem Product Owner oder Product Manager zusammen, um Geschäftsprobleme in ML-Systemanforderungen und Qualitätsmerkmale zu übersetzen. Um Ihr ML-Modell an Ihre Kunden zu liefern, brauchen Sie mehr als nur ein Modell, Sie müssen ein ML-System aufbauen.

Ein ML-System ist ein Softwaresystem mit einer Komponente für maschinelles Lernen. Die Anforderungen an ein ML-System beschreiben, wie das ML-System einen Mehrwert schafft. Zum Beispiel wird der gewünschte Vorhersagefehler in einem Modell für die Nachfrageprognose durch eine Metrik (z.B. Mean Absolute Error) quantifiziert, für die ein Modell optimiert werden kann.

Beispiel ML-System aus dem Blog von Chip Huyen

Qualitätsattribute beschreiben Anforderungen an ein System, die nicht immer einen direkten geschäftlichen Mehrwert darstellen. Die maximale Dauer des Modelltrainings oder der Vorhersagepipeline ist ein Beispiel für ein Qualitätsattribut. Nehmen wir an, wir prognostizieren die Nachfrage auf täglicher Basis. Die gestrigen Verkaufsergebnisse liegen möglicherweise erst um 8 Uhr morgens vor und das Unternehmen benötigt die Vorhersagen bis 9 Uhr morgens, um Bestellungen bei den Lieferanten aufzugeben. Damit ist ein Qualitätsmerkmal für unser ML-System definiert, das die Vorhersagen berechnet und sie dem Endbenutzer innerhalb einer Stunde zur Verfügung stellt. Die Verwendung komplexer Funktionen oder Modelle, deren Berechnung viel Zeit in Anspruch nimmt, kann diesen Zeitrahmen trotz des potenziellen Mehrwerts überschreiten.

Wenn Sie sich zu sehr auf den kurzfristigen Geschäftswert statt auf Qualitätsmerkmale konzentrieren, führt dies zu fragilen ML-Lösungen. Fragile Lösungen sind anfällig für Ausfälle und verursachen Ausfallzeiten und frustrierte Kunden. Ein zu starker Fokus auf Qualitätsattribute führt zu übertechnisierten Proof-of-Concepts, die nie die Produktion erreichen oder das Budget überschreiten. Es ist die Aufgabe eines ML Solutions Architects, sich mit den technischen Projektrisiken zu befassen. Der ML-Lösungsarchitekt sorgt für ein Gleichgewicht zwischen technischer Exzellenz und Geschäftswert. Dadurch wird sichergestellt, dass die Teams ML-Lösungen aufbauen, die auf langfristigen Erfolg ausgerichtet sind.

Durchführbarkeit

ML-Systeme werden im Kontext einer Organisation entwickelt. Dies schränkt die Machbarkeit von Lösungen ein. Weitere Zwänge sind Zeit- und Budgetbeschränkungen und die Grenzen der Fähigkeiten des Teams. Das ML-System muss in einem Geschäftsprozess funktionieren und mit anderen Nicht-ML-Systemen verbunden sein, um Ihr Modell den Endbenutzern zugänglich zu machen. Der ML-Lösungsarchitekt analysiert die bestehende IT-Landschaft, um eine Lösung zu entwerfen, die sich am besten integrieren lässt. Ohne dieses Fachwissen, das einen Blick auf das große Ganze ermöglicht, können ML-Modelle nicht von Ihren Kunden genutzt werden.

Übergreifende Bedenken sind eine besondere Art von Einschränkungen. Sie sind unternehmensübergreifend, d.h. sie gelten für alle Softwaresysteme des Unternehmens. Beispiele hierfür sind ethische, gesetzliche und sicherheitsrelevante Einschränkungen. Eine unzureichende Berücksichtigung übergreifender Belange zu einem frühen Zeitpunkt kann dazu führen, dass sich Ihre Einführung verzögert. Es kann auch zu rechtlichen Sanktionen oder zur Schädigung des Rufs der Marke führen, wenn ein System bereits in Produktion ist. Organisationen haben oft Richtlinien oder strenge Regeln für bereichsübergreifende Belange, die Sie befolgen müssen. Sie sind nicht spezifisch für das ML-Projekt, sondern werden von der Organisation diktiert, weshalb wir sie separat behandeln.

Die meisten Einschränkungen sind verhandelbar, übergreifende Belange jedoch nicht. Ein ML-Lösungsarchitekt verhandelt über die Beschränkungen und die Qualitätsattribute und -merkmale, um den Lösungsraum zu finden. Der ML-Lösungsarchitekt findet innerhalb dieses Raums eine Lösung, die innerhalb der Organisation technisch machbar ist.

Technische Standards und Prozesse

Ein Mangel an technischen Standards führt dazu, dass die falsche Technologie eingesetzt wird oder die richtige Technologie schlecht implementiert wird. Beides führt zu Ineffizienzen, die die Lösungen zu kostspielig machen und verhindern, dass sich die Lösungen in dem erforderlichen Umfang weiterentwickeln. Infolgedessen können ML-Projekte nicht für alle Benutzer eingeführt werden. Die Projekte erreichen nicht den geschätzten Wert und rentieren sich daher nicht.

Das Fehlen von Standards führt dazu, dass Teams das Rad bei jedem neuen Projekt neu erfinden müssen, was die Zeit bis zur Wertschöpfung verlangsamt. Dieser Mehraufwand durch isoliertes Arbeiten verlangsamt die Iterationsgeschwindigkeit der Teams. Die meisten ML-Modelle müssen häufig aktualisiert werden, wenn sich die Umgebung, in der sie arbeiten, ändert. Wenn Sie nicht in der Lage sind, mit dieser Frequenz Schritt zu halten, gerät das Modell ins Hintertreffen. Ein solches Modell liefert dann keinen geschäftlichen Nutzen mehr oder erzeugt einen negativen Wert.

Bild von EvidentlyAI

Bei jedem Projekt werden unterschiedliche Frameworks, Programmiersprachen oder Bibliotheken verwendet. Diese unterschiedlichen Technologien verhindern den Wissensaustausch zwischen den Teams darüber, wie man sie am besten einsetzt. Das senkt die Qualität von ML-Produkten und führt möglicherweise zu weniger sicheren ML-Produkten, da die Teams über Schwachstellen in ihrem jeweiligen Technologie-Stack informiert bleiben müssen. Der uneinheitliche Technologie-Stack bedeutet, dass ein Mitarbeiter viele neue Dinge lernen muss, wenn er zwischen Projekten wechselt. Die Übertragung der Verantwortung für ML-Projekte an ein anderes Team oder die Rotation der Mitarbeiter zwischen den Projekten wird zeitaufwändig. Letzteres wirkt sich auf die Zufriedenheit der Mitarbeiter aus, da sie das Gefühl haben, in einem Projekt festzustecken.

Wie arbeitet der ML Solutions Architect?

Bislang haben wir die allgemeinen Probleme erörtert, mit denen Unternehmen konfrontiert sind, und die Bereiche, auf die sich ein ML Solutions Architect konzentriert, um diese zu lösen. In diesem Abschnitt werden wir erörtern, wie der ML Solutions Architect in Ihrem Unternehmen arbeiten wird und wie Sie die Rolle effektiv positionieren können. Wir besprechen die Fähigkeiten, die der ML Solutions Architect mitbringt, seine Aktivitäten und warum diese wichtig sind.

Ein ML-Lösungsarchitekt benötigt ein breites Spektrum an technischen Fähigkeiten. Dieses breite Spektrum an Fähigkeiten ermöglicht es ihm, alle Probleme zu lösen, die beim Aufbau von ML-Systemen auftreten können. Dies ist eine wichtige Fähigkeit, um ML-Systeme von Grund auf zu entwerfen. Die Entwicklung eines ML-Systems umfasst die Erfassung von Anforderungen und die Erstellung einer Architektur, die diese Anforderungen erfüllt. Der ML Solution Architect arbeitet mit den Interessenvertretern des Unternehmens zusammen und verhandelt effektiv über die Anforderungen. Die Architektur muss den aktuellen Anforderungen entsprechen und gleichzeitig flexibel sein, um sich an zukünftige Anforderungen anzupassen. Es muss allen Beteiligten klar sein, welche Anforderungen bestehen und wie die Architektur diese erfüllt. Bei dieser Kommunikation muss der Schwerpunkt auf den Kompromissen liegen. Die Kompromisse zeigen, warum die vorgeschlagene Architektur am besten geeignet ist und wie sie im Vergleich zu anderen Lösungen abschneidet, damit ein Konsens erzielt werden kann.

Foto von Pexels von Christina Morillo

Schriftliche Kommunikation ist am effektivsten, um einen Konsens mit einem größeren Publikum zu erreichen. Daher sind gute Schreibkenntnisse von größter Bedeutung. RFC oder Design Docs sind Werkzeuge, um einen Konsens über wichtige Entscheidungen wie die Architektur eines ML-Systems zu erreichen. Entscheidungen werden mit Tools wie Architectural Decision Records dokumentiert. Für einen ML-Lösungsarchitekten ist es wichtig, dass er mit der Technologie in Kontakt bleibt. Dadurch wird sichergestellt, dass die vorgeschlagenen Entscheidungen realistisch und auf dem neuesten Stand der Entwicklungen in diesem Bereich sind. Die Entscheidungen müssen detailliert genug sein, um einem autonomen Team Anleitung und Struktur für die Umsetzung zu geben. Der ML Solutions Architect trägt zum Code innerhalb des Projekts bei und arbeitet daran mit, um mit der Technologie in Kontakt zu bleiben.

Für einen ML Solutions Architect ist es wichtig, mit dem Projekt und dem Team in Kontakt zu bleiben. Es empfiehlt sich, an einem bestimmten Projekt oder höchstens an einigen wenigen zu arbeiten. Projekte mit einem hohen Risiko oder einer hohen Komplexität erfordern mehr architektonische Beratung und Design. Falsche Entscheidungen bei dieser Art von Projekten können sehr kostspielig werden oder ein Projekt zum Scheitern bringen. In diesen Fällen sollte der ML Solutions Architect nur ein Projekt betreuen. Unternehmen mit einem geringeren ML-Reifegrad arbeiten an weniger komplexen ML-Projekten, so dass ein Architekt mehrere Projekte betreuen kann. In diesen Unternehmen besteht auch ein größerer Bedarf an der Festlegung von Standards, die von mehreren Teams umgesetzt werden sollten.

Zu Beginn eines Projekts wird ein ML Solutions Architect aktiver beteiligt sein. In dieser Phase müssen wichtige Entscheidungen über die Architektur des ML-Systems getroffen werden. Ein ML-System muss aus architektonischer Sicht weniger geändert werden, wenn es in der Produktion läuft und nicht weiter skaliert werden muss. Das System muss aktiv gewartet werden und neue Funktionen werden dem Modell hinzugefügt, aber die wichtigsten technischen Entscheidungen werden getroffen. Der ML Solutions Architect wird in dieser Phase weniger in Projekte involviert sein.

Fazit

Anhand von Beispielen habe ich gezeigt, was der ML Solutions Architect kann:

• Kosten reduzieren
• Erhöhen Sie die Robustheit von Modellen, die in der Produktion eingesetzt werden
• Steigern Sie Ihre Rendite auf Investitionen in ML

Wenn Ihr Unternehmen Schwierigkeiten hat, aus ML-Projekten Nutzen zu ziehen, und Sie die üblichen Probleme erkennen, ist es vielleicht an der Zeit, die Rolle des ML Solutions Architect einzuführen. In diesem Artikel habe ich gezeigt, wie diese Rolle ML-Projekte so umsetzt, dass sie mit der technischen Landschaft des Unternehmens und seinen geschäftlichen Anforderungen in Einklang stehen. Überentwickelte Proof-of-Concepts und anfällige Lösungen in der Produktion werden durch stabile und skalierbare Lösungen ersetzt. Der Reifegrad Ihrer ML-Teams wird zunehmen und Sie gewinnen Vertrauen in die Komplexität der ML-Projekte, die Sie durchführen können. Sehen Sie, wie wir dies erreicht haben, indem wir ein Projekt zur Nachfrageprognose mit einer sehr knappen Frist und begrenzten Ressourcen durchgeführt haben, das dennoch einen Mehrwert lieferte.