Angewandte Datenwissenschaft: Modelle in die Produktion bringen

In der Datenwissenschaft ist die Softwarequalität oft ein Problem, das verhindert, dass Modelle in Produktion gehen. Probleme wie das Fehlen automatisierter Datenpipelines (einschließlich der Frage, wie die Ergebnisse der Außenwelt zur Verfügung gestellt werden können), schlechte Codequalität oder unzureichende Berücksichtigung nichtfunktionaler Anforderungen (wie z.B. der Leistung) sind die größten Hindernisse für angewandte Datenwissenschaft.

Wie können Sie Data-Science-Modelle erfolgreich in die Produktion bringen?

Softwarequalität in der Datenwissenschaft

Vor einiger Zeit habe ich einen Blogbeitrag über produktionsreife Datenwissenschaft geschrieben . Falls Sie ihn nicht gelesen haben, die wichtigsten Punkte waren:

• Keine automatisierten Datenpipelines (einschließlich der Frage, wie Sie die Ergebnisse der Außenwelt zur Verfügung stellen);
• Schlechter, oder nicht gut genug, Code;
• Nicht genügend Aufmerksamkeit für nicht funktionale Anforderungen (wie Leistung).

Am Ende des Beitrags kam ich zu dem Schluss, dass die Qualität der Software ein großes, unbehandeltes Problem ist, das verhindert, dass die Modelle in Produktion gehen.

Nachdem ich den Beitrag geschrieben hatte, dachte ich darüber nach, ob noch andere Faktoren ausgelassen wurden.

Die Theorie der Datenwissenschaft in die Praxis umsetzen

Dann wurde mir klar, dass die meisten Datenwissenschaftler, denen ich in meiner täglichen Praxis begegne, Datenwissenschaft an der Universität, in Schulungen (online oder nicht), in Büchern usw. gelernt haben.

All diese Ressourcen lehren, mit unterschiedlichem Qualitätsniveau, Datenwissenschaft. Was jedoch notwendig ist, um Data Science erfolgreich in der Produktion anzuwenden, ist... Angewandte Datenwissenschaft.

Angewandte Datenwissenschaft

Für mich bedeutet angewandte Datenwissenschaft das, was ich im vorigen Beitrag über Software gesagt habe, plus:

• Sie kennen die Kosten für falsch positive und falsch negative Ergebnisse;
• Wissen, wie Sie Ihre Modelle überwachen können, wenn sie in der Produktion laufen.

Die Kosten von Fehlalarmen kennen

Mit ersterem meine ich Folgendes: Nehmen wir an, ein Unternehmen hat einen intelligenten Stromzähler, der den Energieverbrauch bis auf Geräteebene aufschlüsselt. Das Geschäftsmodell besteht darin, Sie zu informieren, wenn einige Ihrer Geräte ineffizient arbeiten.

Ein Datenwissenschaftler könnte zwei Modelle haben:

• Modell A kann 99% der ineffizienten Geräte finden, bezeichnet aber 10% der effizienten Geräte fälschlicherweise als ineffiziente Geräte;
• Modell B findet nur 80 % der ineffizienten Geräte, markiert aber nur 2 % der effizienten Geräte falsch.

Welches Modell würden Sie wählen? Aus der Sicht der nicht angewandten Datenwissenschaft würden viele Kennzahlen darauf hindeuten, dass Modell A besser ist.

Wenn Sie jedoch die Kosten für die falsche Kennzeichnung effizienter Geräte nicht kennen, können Sie keine Entscheidung treffen. Wenn 10% Ihres Kundenstamms das Vertrauen in Ihr Modell verlieren, besteht die Chance, dass sie Sie nie wieder ernst nehmen werden. Wenn hingegen 20% nie erfahren, dass sie ein ineffizientes Gerät zu Hause haben, schadet das der Beziehung vielleicht nicht so sehr.

Modelle in der Produktion überwachen

Beim zweiten Punkt, der Überwachung, geht es darum, zu erkennen, wenn das Modell in der Produktion nicht wie gewünscht funktioniert. Sie wollen nicht erst am Ende des Monats (oder des Quartals) wissen, dass Sie Geld verloren haben: Sie wollen es wissen, sobald Sie anfangen zu bluten, und darauf reagieren.

Wenn Ihre Datenwissenschaftler nicht darin geschult sind, in diesen Begriffen zu denken, wird es schwer sein, das Modell einfach in die Produktionsumgebung zu übernehmen!

Wie in meinem letzten Beitrag, kommt jetzt (wieder) das Angebot: Wir können Ihre Datenwissenschaftler aktiv ausbilden, entweder am Arbeitsplatz oder durch unser Unterrichtsangebot, um angewandte Datenwissenschaftler zu werden! Jetzt Kontakt aufnehmen

Ein großes Dankeschön an Ivo Everts, der mir zugehört hat, während ich mich über diese Themen ausgelassen habe!