Wie Sie Ihre Planung und Vorhersage mit etwas Mathematik und KI verbessern können - Teil 2

Intro

Im vorangegangenen Artikel haben wir analysiert, wie schlecht Menschen bei ihren Schätzungen sind, und geprüft, ob probabilistische Methoden bei der Lösung komplexer Probleme funktionieren. Lassen Sie uns nun versuchen, dieses Wissen mit KI zu nutzen!

Große Sprachmodelle & Mathematik

LLMs sind nicht dazu gedacht, komplizierte Berechnungen durchzuführen. Ihre Aufgabe ist es, in einfachen Worten, die geeignetste, wahrscheinlichste Reihenfolge der Wörter als Antwort vorherzusagen. Vor diesem Hintergrund scheint die Berechnung mit LLMs riskant zu sein.

LLMs verwenden jedoch externe Agenten - virtuelle Einheiten oder Systeme, die dazu bestimmt sind, bestimmte Ziele zu erreichen. Das können sie zum Beispiel:

• bestimmte Aufgaben ausführen
• zwischen verschiedenen Agenten und Nutzern vermitteln, z.B. indem Sie zusätzliche Fragen stellen
• viele Modelle und Algorithmen koordinieren
• Anfragen dynamisch verarbeiten und in einfache Elemente aufteilen, delegieren und in bestimmter Reihenfolge ausführen und schließlich die endgültige Antwort erstellen

Die Monte-Carlo-Simulation erfordert wiederholte, aber recht einfache Berechnungen. Wenn Sie nur ChatGPT verwenden, ist die Wahrscheinlichkeit ziemlich groß, dass dieses Tool die richtigen Agenten auswählt und Ihre Berechnung in Ordnung ist. In jedem Fall ist es sinnvoll, vordefinierte Modelle in ChatGPT zu verwenden, die auf externe Agenten zurückgreifen, wie z.B. das bekannte Wolfram Alpha (vor ein paar Jahren bei Studenten sehr beliebt, um das Bestehen von Prüfungen zu erleichtern). Sie finden diese Modelle über Explore GPTs in ChatGPT.

Wenn also die KI-Berechnungen im Wesentlichen korrekt sind, sollten wir versuchen, sie für die zuvor beschriebene Monte-Carlo-Simulation für unsere Projekte zu verwenden.

 

Modell Vorbereitung

Wir wissen, dass Menschen nicht gut im Schätzen und Planen sind. Andererseits haben wir geprüft und bewiesen, dass probabilistische Modelle bei komplexen Problemen erstaunlich gut funktionieren. Wenn Sie bereits einige Projekte geleitet haben, werden Sie mir sicher zustimmen, dass Schätzung und Planung etwas Komplexes sind. Lassen Sie uns dieser Formel etwas hinzufügen, das jetzt auftaucht: KI.

Planung + Schätzung + Wahrscheinlichkeitsrechnung + KI = ?

1. Basis vorbereiten

Im ersten Schritt laden Sie Ihren aktuellen Arbeitsrückstand in Ihren LLM hoch. Dabei kann es sich um eine aus Jira exportierte Kalkulationstabelle handeln. Fügen Sie etwas Kontext hinzu und überprüfen Sie, ob das Modell dies richtig "verstanden" hat.

Eingabeaufforderung:

Dies ist ein Product Backlog aus meinem Projekt.

Format:
Spalte 1: Name der Benutzergeschichte
Spalte 2: Vom Team gelieferte Schätzung

Jetzt können Sie einige einfache Fragen stellen, um die Gültigkeit zu überprüfen:

Eingabeaufforderung:

Wie viele Sprints brauche ich für alle Geschichten, wenn meine Geschwindigkeit 50 beträgt?

Antwort:  

Sie benötigen insgesamt 16 Sprints, um alle Stories abzuschließen, wenn die Geschwindigkeit Ihres Teams 50 beträgt. Lassen Sie mich wissen, wenn Sie zusätzliche Planungsdetails oder Einblicke benötigen. 

2. Daten des Teams hinzufügen

Im nächsten Schritt fügen Sie einige historische Daten über die Arbeit Ihres Teams hinzu. Sie können Story Points oder die Anzahl der in der Timebox gelieferten Aufgaben verwenden.

In diesem Experiment werden Story Points verwendet. ChatGPT wertet Ihre Daten aus.

Eingabeaufforderung:

Das Team hat in den letzten Iterationen (Sprints) die folgende Anzahl von Story Points geliefert: 30, 40, 27, 55, 70, 21.

Antwort:

Ausgehend von der durchschnittlichen Geschwindigkeit Ihres Teams in den vergangenen Sprints (30, 40, 27, 55, 70 und 21 Story Points) werden Sie etwa 20 Sprints benötigen, um alle Storys fertigzustellen. Lassen Sie es mich wissen, wenn Sie weitere Unterstützung bei der Planung oder Einblicke benötigen. 

3. Verwenden Sie probabilistische Methoden

Bitten Sie den LLM, eine Monte-Carlo-Simulation auszuführen. Die Simulation wird für eine bestimmte Zukunft ausgeführt, daher müssen wir die Anzahl der nächsten Timeboxen angeben

Eingabeaufforderung:

Überprüfen Sie auf der Grundlage der bereitgestellten Daten und der Monte-Carlo-Simulation, wie viel ich in 10 Sprints erreichen kann, und zeigen Sie das Diagramm.

Antwort:

Auf der Grundlage der Monte-Carlo-Simulation für 10 Sprints können Sie Folgendes erreichen:
50. Perzentil (Median): 406 Geschichtspunkte
75. Perzentil: 442 Story Points
90. Perzentil: 478 Story Points

Wie Sie feststellen konnten, hat ein Tool mathematisch korrekte Berechnungen durchgeführt.

4. Vorhersagen prüfen

Wenn wir diese Simulation fertig haben, können wir schnell die Wahrscheinlichkeit der Lieferung der angenommenen Arbeitsmenge ermitteln.

Eingabeaufforderung:

Zeigen Sie, wie viele Story Points in diesen Sprints mit einer Wahrscheinlichkeit von 10%, 25%, 50%, 75% und 90% geliefert werden können. Stellen Sie die Ergebnisse in einer Tabelle dar. Zeigen Sie die Perzentile in einem Diagramm.  

Antwort:
Wahrscheinlichkeiten - Story Points
90% - 340.0
75% - 368.0
50% - 406.0
25% - 442.0
10% - 478.1

Die Tabelle zeigt die Anzahl der Story Points, die in 10 Sprints mit einer Wahrscheinlichkeit von 10%, 25%, 50%, 75% und 90% geliefert werden können. Lassen Sie mich wissen, wenn Sie weitere Analysen oder Erkenntnisse benötigen. 

Natürlich können Sie in diesem Schritt die Eingabeaufforderungen und Parameter manipulieren, um direkte Antworten zu den Teamchancen zu erhalten. Lassen Sie uns nach ziemlich sicheren Vorhersagen für den Drei-Iterations-Horizont fragen:

Eingabeaufforderung:

Wie viele Story Points werde ich mit 85%iger Sicherheit in den drei Iterationen abschließen?

Antwort:  

Mit einer Wahrscheinlichkeit von 85% werden Sie in den nächsten drei Iterationen (Sprints) etwa 155 Story Points abschließen. Lassen Sie mich wissen, wenn Sie weitere Unterstützung oder zusätzliche Erkenntnisse benötigen. 

Jetzt haben Sie in wenigen Minuten Ihren persönlichen Assistenten für die Berechnung von Projektprognosen vorbereitet.

Denken Sie nur daran, wie nützlich es ist, diese Art von Antwort gerade noch rechtzeitig während eines Gesprächs mit einem Kunden zu erhalten.

Echte Nutzung

Stellen Sie sich eine Situation vor, in der Sie drei Hauptakteure haben. Sie haben einen Workshop durchgeführt und einen Konsens erzielt. Sie haben einen langfristigen Plan und ein geordnetes Backlog. Der Abteilungsleiter möchte jedoch nur wissen, wann seine Story (auf Position²⁵ im Backlog) fertig sein wird. Um diese Frage zu beantworten, sind einige Berechnungen erforderlich. Sie benötigen wahrscheinlich Dutzende von Minuten für die Antwort. Alternativ können Sie Ihr bereits vorbereitetes KI-Tool als Assistenten verwenden, um den Auftragsbestand zu aktualisieren und nur eine einfache Abfrage zu verwenden.

Eingabeaufforderung:

Das Backlog ist geordnet, und ich werde die Stories in dieser Reihenfolge zum Sprint mitnehmen.
Wann wird die Geschichte "Als Fluglotse möchte ich die Koordination der Start- und Landebahnen verbessern, um Verspätungen zu verringern" mit einer Wahrscheinlichkeit von 85% fertig sein?

Antwort:

Die Geschichte "Als Fluglotse möchte ich die Koordination der Start- und Landebahnen verbessern, um Verspätungen zu verringern" wird innerhalb von etwa 5 Sprints mit einer Wahrscheinlichkeit von 85% fertiggestellt.

In diesem Moment können Sie viele Fragen hören, wie "Warum so spät?" usw. Ihr virtueller Assistent kann sich schnell rechtfertigen:

Eingabeaufforderung:

Erklären Sie, warum 3 Sprints. Zeigen Sie die Sprintpläne für diesen Fall (Anzahl der Sprints, Liste der Stories mit Story Points und Summe der Stories für diesen Sprint). 

Antwort:

Die Story "Als Fluglotse möchte ich die Koordination der Start- und Landebahnen verbessern, um Verspätungen zu verringern" wird mit einer Wahrscheinlichkeit von 85% in 3 Sprints fertiggestellt. Der Grund dafür liegt in der Monte-Carlo-Simulation, die vorhersagt, dass Ihr Team bei dieser Wahrscheinlichkeit etwa 155 Story-Punkte innerhalb von 3 Sprints liefern kann. 

Detaillierter Sprintplan:
[...]
Gesamtpunkte für Sprint 1: 29 Punkte
[...]
Gesamtpunkte für Sprint 2: 24 Punkte
[...]

Sprint 3:

"Als Fluglotse möchte ich die Koordination der Landebahnen verbessern, um Verspätungen zu verringern. - 3 Punkte
Andere Geschichten, die zur verbleibenden Kapazität in Sprint 3 passen
Gesamtpunkte für Sprint 3: Verbleibende Kapazität

Die Zuteilung der Stories zu den einzelnen Sprints basiert auf der Beibehaltung einer realistischen Kapazität und Geschwindigkeit pro Sprint, wobei die Zielstory innerhalb des vorhergesagten Zeitrahmens abgeschlossen werden soll. Dieser Plan optimiert die Nutzung der verfügbaren Ressourcen und stellt sicher, dass die Zielstory mit einer Wahrscheinlichkeit von 85 % fertiggestellt wird. 

Außerdem können Sie auch schnell alternative Schätzungen abgeben:

Eingabeaufforderung

Wann wird diese Geschichte mit 25% und 50% Wahrscheinlichkeit fertig sein?

Antwort:  

Mit der folgenden Wahrscheinlichkeit:
25% Wahrscheinlichkeit: Die Story wird innerhalb von etwa 2 Sprints fertig sein.
50%ige Wahrscheinlichkeit: Die Story wird ebenfalls innerhalb von etwa 2 Sprints fertig sein.
Das bedeutet, dass in beiden Fällen davon ausgegangen wird, dass die Story innerhalb von 2 Sprints auf der Grundlage der kumulierten Kapazität und Wahrscheinlichkeiten abgeschlossen wird.

Sie brauchen nur ein paar Sekunden, um die Eingabeaufforderung zu schreiben und müssen nicht mehrere Parameter in Ihrer Excel-Datei bedienen.

Zusammenfassung

Sie können probabilistische Modelle wie Monte Carlo mit verschiedenen Tools verwenden. Es ist möglich, dies einfach in einer Excel-Tabelle zu implementieren. Außerdem werden die wichtigsten Elemente dieses Modells nicht direkt in ChatGPT ausgeführt. Die Berechnungen werden in einem speziellen externen Agententool wie Wolfram Alpha oder ähnlichem durchgeführt. Large Language Models wurden nicht geschaffen, um mit Daten zu arbeiten, aber ihr derzeitiger Entwicklungsstand und die Integration mit externen Agenten ermöglichen es uns, auch einfache (und etwas kompliziertere) Berechnungen durchzuführen. Darüber hinaus vereinfacht ChatGPT die Interaktionen und liefert schnell Antworten auf komplizierte, detaillierte Fragen zu den möglichen Szenarien der Zukunft des Projekts. Mit ChatGPT als Assistent können wir also bekannte Tools auf innovativere Weise nutzen. Etwas Zeitaufwändiges kann jetzt in Sekundenschnelle erledigt werden, z. B. während der eigentlichen Planungssitzung mit den Beteiligten.