Den Wert der KI messen

Wir haben es überall eingeführt. Wie geht es nun weiter?

Die Flitterwochen sind vorbei. Nach monatelangen, aggressiven Einführungen haben Unternehmen weltweit ihren Mitarbeitern Zugang zu KI-Programmierassistenten, Copiloten und Chat-Schnittstellen gewährt. Nun treffen die Kreditkartenabrechnungen ein. Und nun landet die unvermeidliche Frage auf dem Schreibtisch eines Verantwortlichen: Was haben wir davon?

Unternehmen bemühen sich intensiv darum, die Rendite ihrer KI-Investitionen zu messen. Sie erstellen Dashboards, mit denen sie den Token-Verbrauch nachverfolgen, KI-gestützte Pull-Anfragen zählen und überwachen, wie viele Codezeilen generiert wurden und wie viele von Hand geschrieben wurden. Manche gehen noch einen Schritt weiter – sie verfolgen, welche Token zu Pull-Requests führten, die wiederum zu Produktivbereitstellungen führten, als wäre der Weg von der Tastatureingabe bis zum Kundennutzen ein einfaches Förderband.

Das ist es nicht. Und die unangenehme Wahrheit ist, dass dieses Messproblem keineswegs neu ist.

Dies ist kein neues Problem

Lange bevor es KI-Assistenten gab, hatten Unternehmen Schwierigkeiten, den Wert von Wissensarbeit zu quantifizieren. Agile Coaches beobachteten jahrzehntelang, wie Organisationen versuchten – und dabei scheiterten –, die Leistung von Scrum-Teams zu messen. Zeilen Code, Velocity-Punkte, ausgelieferte Funktionen: Nichts davon stand in einem verlässlichen Zusammenhang mit den Geschäftsergebnissen.

Das Problem ist struktureller Natur. Wie Barber (2008) in seiner Forschung zur Messung von Wertschöpfungsketten aufgezeigt hat, wird die Messung umso schwieriger, je weiter man sich von greifbaren, physischen Prozessen in Richtung immaterieller Wertschöpfung bewegt. Softwareentwicklung, kreative Arbeit und strategisches Denken finden fast ausschließlich in diesem immateriellen Bereich statt. Baruch Levs wegweisendes Werk „Intangibles: Management, Measurement, and Reporting“ (2000) – das über 6.000 Mal zitiert wurde – hat gezeigt, dass Unternehmen die immaterielle Wertschöpfung systematisch nicht erfassen, gerade weil sie sich einer sauberen Quantifizierung widersetzt, wie sie von Rechnungslegungssystemen gefordert wird.

Die KI hat kein neues Messproblem geschaffen. Sie hat ein bereits bestehendes Problem verstärkt und dafür gesorgt, dass es nicht mehr ignoriert werden kann.

Die Fallen, in die wir immer wieder tappen

Goodharts Gesetz: Wenn die Messgröße zum Ziel wird

„Wenn eine Kennzahl zum Ziel wird, ist sie keine gute Kennzahl mehr.“ Charles Goodhart formulierte diesen Grundsatz 1975 im Zusammenhang mit der Geldpolitik, doch Fritz (2016) zeigte dessen verheerende Anwendbarkeit auf die Softwareentwicklung auf. In dem Moment, als die Anzahl der Codezeilen zu einer Produktivitätskennzahl wurde, produzierten die Entwickler mehr Codezeilen – ohne dabei einen höheren Mehrwert zu schaffen.

Mit der KI tappen wir in dieselbe Falle. Sobald „pro PR verbrauchte Tokens“ zu einer Kennzahl wird, werden die Teams ihre Arbeit darauf ausrichten. Je nachdem, welche Richtung das Management belohnt, werden sie ihrer KI entweder den Kontext vorenthalten, um effizient zu wirken, oder ihr überladene Eingabeaufforderungen zuführen, um produktiv zu erscheinen. Keines dieser Verhaltensweisen steht in Zusammenhang mit dem geschaffenen Mehrwert.

Der McNamara-Irrtum: Das Zählen dessen, was zählbar ist

Während des Vietnamkriegs bestand Verteidigungsminister Robert McNamara darauf, den Erfolg anhand der Zahl der Gefallenen und der eroberten Gebiete zu messen – Kennzahlen, die zwar quantifizierbar waren, aber letztlich keine Aussagekraft hatten, um zu bestimmen, wer die Oberhand hatte. Der „McNamara-Irrtum“, wie van Nieuwenhuizen ihn beschreibt, besteht darin, „quantitativen Kennzahlen Vorrang einzuräumen und dabei ebenso wichtige qualitative Faktoren zu ignorieren, die sich einer einfachen Messung entziehen.“

Die Token-Nutzung ist der aktuelle Indikator. Sie zeigt Ihnen, dass etwas geschieht. Sie zeigt Ihnen, dass Ressourcen verbraucht werden. Sie sagt Ihnen jedoch absolut nichts darüber aus, ob die richtigen Dinge entwickelt werden, ob die Kunden zufriedener sind oder ob sich Ihr Produkt verbessert.

Dieser Trugschluss ist verlockend, da die Alternative – die Messung qualitativer Ergebnisse – tatsächlich sehr schwierig ist. Daher greifen Organisationen standardmäßig darauf zurück, das zu messen, was ihre Abrechnungssysteme bereits erfassen.

Selbstbezogene Zuschreibungsverzerrung: Wir glauben an unseren eigenen Hype

Hinter der Herausforderung der Messung verbirgt sich noch ein weiteres Problem. Untersuchungen von Shepperd, Malone und anderen (2008) zur selbstdienenden Attributionsverzerrung zeigen, dass Menschen positive Ergebnisse systematisch übermäßig ihren eigenen Anstrengungen zuschreiben und externe Faktoren zu wenig berücksichtigen. Libby und Rennekamp (2012) haben dies im Zusammenhang mit Prognosen nachgewiesen: Nach einem Erfolg führen Menschen diesen auf interne Faktoren zurück, was zu übermäßig zuversichtlichen Vorhersagen über die zukünftige Leistung führt.

Wenn ein Entwickler sagt: „Dank der KI bin ich zehnmal produktiver geworden“, dann ist er davon aufrichtig überzeugt. Wenn ein Manager sagt: „Unsere Investition in KI hat zu einer Steigerung der Auslieferungsgeschwindigkeit um 30 % geführt“, dann ist auch er davon aufrichtig überzeugt. Doch dabei handelt es sich um unkontrollierte Beobachtungen, die durch Bestätigungsfehler und den Druck aufgrund versunkener Kosten – da man sich ursprünglich für die Investition eingesetzt hat – verzerrt sind.

Selbst wenn Unternehmen versuchen, den Nutzen im Voraus abzuschätzen, werden diese Schätzungen im Nachhinein selten überprüft. Die Hypothese, dass eine Funktion einen Nutzen von X erbringen würde, wird zum Zeitpunkt der Entscheidung über die Umsetzung geprüft und anschließend vergessen. Niemand überprüft sechs Monate später, ob der Wert tatsächlich eingetreten ist. Schätzungen entsprechen nicht der Realität – sie entsprechen vielmehr dem, was zum Zeitpunkt der Finanzierung aus politischen Gründen als Behauptung opportun erschien.

Der verschobene Filter: Vom „Pre-Build“ zum „Post-Build“

Die KI hat die Wertschöpfung in Unternehmen in folgender Hinsicht grundlegend verändert: Früher fungierte die Kapazitätsgrenze als natürlicher Qualitätsfilter.

In der Zeit vor der KI musste man, um etwas zu entwickeln, ein Team oder einen Product Owner davon überzeugen, seine begrenzte Zeit dafür aufzuwenden. Viele gute Ideen scheiterten an diesem Filter, doch die wichtigsten setzten sich in der Regel durch. Die Knappheit sorgte für Disziplin.

Nun schwindet diese Barriere. Durch die KI-gestützte Entwicklung sind die Kosten für die Entwicklung neuer Lösungen drastisch gesunken. Wenn die Kapazitäten unbegrenzt sind (oder zumindest so erscheinen), wird alles umgesetzt. Geschäftsverantwortliche, die früher um die Zeit der Entwickler kämpfen mussten, können nun selbst Agenten auf Probleme anweisen.

Das Ergebnis? Der Filter wird von der Phase vor dem Build in die Phase nach dem Build verlagert. Anstatt zu fragen: „Sollen wir das erstellen?“, müssen sich die Teams nun fragen: „Da wir das nun erstellt haben, sollen wir es veröffentlichen?“ Und was entscheidend ist: Die meisten Unternehmen haben noch nie die nötigen Fähigkeiten dafür entwickelt.

A/B-Tests, Eye-Tracking, Trichteroptimierung – diese Validierungsmethoden nach der Entwicklung sind in Marketingabteilungen und Wachstumsteams weit verbreitet. In der internen Entwicklung von Unternehmenssoftware fehlen sie jedoch fast vollständig. Und das lässt sich schon allein an der Nutzung der meisten Unternehmenssoftware erkennen.

Stellen Sie sich ein Produkt wie SAP vor, das über unbegrenzte Kapazitäten verfügt, um noch mehr Schemata, Tabellen und Konfigurationsoptionen hinzuzufügen. Die Komplexitätskrise bei Unternehmenssoftware ist kein Ressourcenproblem – es ist ein Problem der Entscheidungsfindung. KI beseitigt die Ressourcenbeschränkung, ohne jedoch die Lücke bei der Entscheidungsfindung zu schließen.

Das Problem der Politur

Es gibt eine damit verbundene Schwachstelle: KI macht es kinderleicht, für alles eine Implementierung in MVP-Qualität zu erstellen, doch um Dinge wirklich fertigzustellen – sie wirklich zu vollenden –, sind nach wie vor menschliches Urteilsvermögen, Geschmack und Iteration erforderlich.

Vor kurzem habe ich eine Software neu programmiert, die ich seit zehn Jahren gewartet habe. Die KI-gestützte Neuprogrammierung dauerte etwa eine Woche. Um mit dem Ergebnis wirklich zufrieden zu sein, waren weitere drei Monate voller Feinabstimmungen und Verbesserungen erforderlich. Die anfängliche Neuprogrammierung war der einfache Teil. Der eigentliche Mehrwert lag in der Feinabstimmung.

Unternehmen, die auf Geschwindigkeit optimieren – sei es hinsichtlich der ausgelieferten Funktionen, der erzielten Story-Punkte, der zusammengeführten PRs, der verbrauchten Token oder der bereitgestellten Features –, räumen dieser Feinabstimmung implizit eine geringere Priorität ein. Jede unausgereifte, KI-generierte Funktion, die ohne weitere Verfeinerung ausgeliefert wird, bedeutet eine kleine Beeinträchtigung der Lebensqualität für jeden Nutzer, der damit interagieren muss.

Der nicht-technische blinde Fleck

Wenn es bereits schwierig ist, den Nutzen von KI für Entwickler zu messen, kann dies für nicht-technische Abteilungen mitunter noch schwieriger sein. Zumindest bei den Ingenieuren verfügen wir über zahlreiche grobe Indikatoren wie Commits und Deployments. Da Personal-, Finanz- und Betriebsteams für KI-Assistenten pro Arbeitsplatz bezahlen, haben Unternehmen in der Regel keinerlei Einblick in die Nutzung oder die Auswirkungen und sind auch nicht in der Lage, den Einsatz von KI direkt mit messbaren Produktivitätssteigerungen in Verbindung zu bringen.

Doch manchmal ist die Wertversprechung für nicht-technische Tätigkeiten tatsächlich einfacher. Der Einsatz von KI kann es Teams ermöglichen, Aufgaben, die sie gelegentlich manuell erledigen, schnell zu automatisieren. Dabei können sich die Ergebnisse vervielfachen, wenn aus dem „gelegentlich“ plötzlich ein „häufig“ wird. Ich habe kürzlich ein Team unterstützt, das von Zeit zu Zeit Inhaltsaktualisierungen auf einer Website vornimmt und mit der Anforderung konfrontiert war, 75 Seiten auf einmal zu aktualisieren – und zwar anhand von Word-Vorlagen. Die Automatisierung dieses Vorgangs spart zwei Wochen manuelle Arbeit und erspart zudem den Aufwand für kleinere Stapel in der Zukunft.

Es sind die im Hintergrund ablaufenden, nicht zielgerichteten KI-Funktionen, die sich einer Messung entziehen. Die Vorschläge zur automatischen Vervollständigung, die E-Mail-Entwürfe, die Besprechungszusammenfassungen. Jede einzelne davon spart vielleicht 30 Sekunden. Multipliziert man dies mit Tausenden von Mitarbeitern, ergibt sich ein enormer theoretischer Wert. Doch theoretischer Wert ist nicht gleichbedeutend mit realisiertem Wert, und niemand überprüft, ob sich diese Einsparungen von 30 Sekunden tatsächlich zu besseren Ergebnissen summieren oder lediglich die verfügbare Zeit für andere, weniger wertvolle Tätigkeiten erweitern.

Außerdem steckt der Teufel manchmal im Detail und nicht in der Zusammenfassung eines zweistündigen Teamgesprächs. Das hochgezogene Augenbraue eines Teilnehmers, wenn etwas gesagt wird. Die Person, die sich nach einer Äußerung aus der Telefonkonferenz ausklinkt...

So messen Sie genauer

Wenn reine Output-Kennzahlen irreführend sind und selbst gemeldete Werte verzerrt sind, welche Alternativen gibt es dann? Hier sind einige Ansätze, die auf der Messwissenschaft basieren:

1. Messen Sie Ergebnisse, nicht Leistungen

Douglas Hubbards Rahmenkonzept aus „How to Measure Anything“ (2014) besagt, dass die meisten „unmessbaren“ Dinge gemessen werden können – allerdings nur, wenn Sie definieren, was Sie tatsächlich unter „Wert“ verstehen. Hören Sie auf, Tokens, PRs und ausgelieferte Funktionen zu zählen. Identifizieren Sie stattdessen die für Sie wichtigen Geschäftsergebnisse (Kundenbindung, Zeit bis zur Problemlösung, Umsatz pro Funktion, Volumen der Support-Tickets) und messen Sie diese im Zeitverlauf. Die Investition in KI ist eine Störvariable, nicht das, was Sie messen.

2. Führen Sie kontrollierte Vergleiche durch

Anstatt Vorher-Nachher-Vergleiche anzustellen (wodurch die Auswirkungen der KI mit allen anderen Veränderungen vermischt werden), führen Sie kontrollierte Experimente durch. Gewähren Sie einigen Teams für bestimmte Aufgaben Zugang zur KI, anderen hingegen nicht. Wechseln Sie die Teams ab. Vergleichen Sie die Ergebnisse, nicht den Aufwand. Dies ist operativ umständlich, was genau der Grund dafür ist, dass es fast niemand tut – und warum die „Messungen“ aller Beteiligten eigentlich nur auf Beobachtungen basierende Schilderungen sind.

3. Erfassung der Abschlussquoten bei Wert-Hypothesen

Verlangen Sie für jede Funktion oder jedes Projekt, das entwickelt wird, eine falsifizierbare Wert-Hypothese, bevor mit der Entwicklung begonnen wird. Messen Sie anschließend, ob sich diese Hypothese nach der Bereitstellung als wahr erwiesen hat. Verfolgen Sie das Verhältnis zwischen bestätigten und widerlegten Hypothesen. Wenn KI Ihnen zwar dabei hilft, mehr Produkte auf den Markt zu bringen, die Trefferquote der Hypothesen jedoch sinkt, produzieren Sie schneller mehr Verschwendung. Das ist ein negativer ROI, unabhängig davon, was das Dashboard anzeigt.

4. Messen Sie, was nicht gebaut wurde

Einer der wichtigsten potenziellen Vorteile der KI ist die Komprimierung – nicht, mehr Dinge zu schaffen, sondern dieselben Dinge mit weniger Ressourcen zu schaffen, wodurch Kapazitäten für Qualität, Erkundung oder Erholung freigesetzt werden. Wenn Ihr Team denselben Umfang an Arbeit wie zuvor liefert, jedoch mit weniger Überstunden, weniger Burnout und weniger Abkürzungen, dann ist das ein Mehrwert. Er lässt sich lediglich nicht in Velocity-Diagrammen ablesen.

5. Den Filter nach dem Build übernehmen

Wenn sich durch KI Ihr Schwerpunkt von der Kapazität hin zur Entscheidungsfindung verlagert, investieren Sie in die entsprechende Infrastruktur. Feature-Flags, schrittweise Einführungen, Nutzerforschung, Nutzungsanalysen. Die Unternehmen, die den größten Nutzen aus KI ziehen werden, sind nicht diejenigen, die am meisten entwickeln – es sind diejenigen, die über die engste Rückkopplungsschleife zwischen der Veröffentlichung einer Funktion und der Erkenntnis verfügen, ob diese veröffentlicht werden sollte.

6. Akzeptieren Sie die unvermeidbare Ungewissheit

Manche Werte lassen sich im Moment tatsächlich nicht messen. Wie viel Wert wurde dadurch geschaffen, dass Microsoft Word die Möglichkeit bot, Text kursiv zu setzen? Wahrscheinlich unermesslich viel – hätte es diese grundlegende Formatierungsfunktion nie gegeben, würden wir alle etwas anderes verwenden. Doch keine ROI-Berechnung hätte dies im Jahr 1985 vorhersagen können. Manche Infrastrukturinvestitionen offenbaren ihren Wert erst im Nachhinein – durch die Möglichkeiten, die sie eröffneten und die niemand vorausgesehen hatte. Nicht alles benötigt ein Dashboard. Manche Dinge erfordern Vertrauen und Geschmack.

Die ehrliche Antwort

Unternehmen wünschen sich eine klare Zahl. „Unsere KI-Investition hat einen Wert von X Euro erwirtschaftet.“ Diese Zahl gibt es nicht und wird es auch nie geben – aus demselben Grund, aus dem es Unternehmen nie gelungen ist, den Wert von E-Mail, Tabellenkalkulationen oder dem Internet selbst zu quantifizieren. Es handelt sich hierbei um Basistechnologien, deren Wert sich auf alle Prozesse verteilt, die sie berühren, der davon abhängt, wie geschickt sie eingesetzt werden, und der von Entscheidungen abhängt, die noch nicht getroffen wurden.

Was Sie messen können, sind die Kosten. Was Sie beobachten können, ist, ob Ihre Kunden zufriedener sind, Ihre Mitarbeiter weniger ausgebrannt sind, Ihre Produkte ausgereifter sind und Ihr Urteilsvermögen hinsichtlich der Frage, was entwickelt werden soll, immer schärfer wird.

Quellen

Referenzen: