Datenwissenschaft und Coaching: Das Yin/Yang für bessere Interventionen

Wenn Sie sich jemals gefragt haben, ob Agile Coaching effektiv oder das Geld wert ist, das Sie ausgeben, sind Sie nicht allein. Ihre Kunden tun das wahrscheinlich auch. Schauen wir uns an, wie ein Manager, der sich mit denselben Fragen herumgeschlagen hat, den Wert von Coaching misst und Methoden der Datenwissenschaft einsetzt, um herauszufinden, welche Interventionen funktionieren und
welche nicht.

Die dreißigjährige Kylie leitet eine Abteilung mit achtzig Mitarbeitern, die auf mehrere Teams verteilt sind. Während der agilen Transformation des Unternehmens wählte sie einen evolutionären Ansatz für den Wandel und engagierte externe Coaches, die jedem Mitarbeiter helfen sollten, sein volles Potenzial auszuschöpfen. Sechs Monate später spürt sie eine neue Stimmung in der Abteilung. Die Leute lächeln öfter und scheinen mehr Spaß zu haben. Kylie ist überzeugt, dass die Coaches fantastische Arbeit leisten, aber wie kann sie das sicher wissen?

Dieser Artikel wurde veröffentlicht in {{cta('b5207b27-2f0c-42a0-af0a-2887e12fcc5c')}}. Agile NXT ist das Magazin voller Inspiration für Fachleute, die sich auf dem Weg zu Agile befinden. Thema der Ausgabe #2: Neue Einsichten für das Agile Performance Management.

Sprache der Kunden
Obwohl sie ein gutes Gefühl bei der neuen Stimmung im Büro hat, drängt ein anderer Teil ihres Verstandes sie mit Fragen:  Woran erkenne ich, dass Coaching effektiv ist? Woran erkenne ich, dass es nicht effektiv ist? Wie lange dauert es, bis eine Intervention die Ergebnisse verändert? Wie können wir feststellen, dass die Veränderung der Ergebnisse signifikant ist?"  

Den ganzen Tag lang, Woche für Woche, am Wasserspender, beim Mittagessen, während der 30-minütigen Fahrradfahrt zum Büro und nach Hause, gehen ihr diese Fragen immer wieder durch den Kopf. Sie glaubt immer noch, dass die Trainer den Teams helfen, aber wie kann sie es sicher wissen? Wie kann sie beweisen, dass die Maßnahmen wirksam sind?

Eines Abends, als sie vor dem Schlafengehen noch etwas für die Arbeit liest, stößt sie auf einen Artikel über Leistungsmanagement. Eine Zeile springt ihr besonders ins Auge: "Absicht führt zu Verhalten, das zu Handlungen führt, die zu Geschäftsergebnissen führen." Plötzlich dämmert es ihr: Wenn sich das Coaching auf das Verhalten konzentriert, dann sollte es auch messbar sein, was die Ergebnisse angeht.

Aber welche Ergebnisse sollte sie berücksichtigen? Für Kylies Abteilung ist die Anzahl der Artikel, die alle zwei Wochen erledigt werden, das, was für die Kunden zählt. Wenn Sie sich also auf diese Ergebnisse konzentrieren, würde das auch die Zusammenarbeit mit den Kunden fördern.

Geschäftsergebnisse = Anzahl der abgeschlossenen Kundenanfragen
(pro 2 Wochen)

Datenwissenschaft
Zurück bei der Arbeit und aufgeregt, sucht Kyle das Fachwissen eines ihrer Kollegen, John, einem Datenwissenschaftler. Da ihre Teams seit über einem Jahr Jira verwenden, um Probleme zu verfolgen und ihre agilen Projekte zu verwalten, würde es die Informationen enthalten, die sie benötigt, um zu sehen, ob das Coaching funktioniert?

Als Kylie ihre Frage an John stellt, ist er fasziniert. "Schauen wir uns das mal an", sagt er und öffnet seinen Laptop. Er ruft eine Arbeitsaufzeichnung für Team Saturn und Team Jupiter auf. Die Zahlen in Tabelle 1 entsprechen der Anzahl der Kundenanfragen, die in einem Zeitraum von zwei Wochen bearbeitet wurden.

Team Iteration |1 |2 |3 |4 |5 |6 |7|8 |9 |10|11|12|13|14|15|16|17|18|19|20|21|22|23

----------------|--|--|--|--|--|--|-|--|--|--|--|--|--|--|--|--|--|--|--|--|--|--|--

Saturn |3 |3 |4 |4 |7 |5 |1|11|5 |6 |3 |6 |6 |5 |4 |10|4 |5 |8 |2 |4 |12|5

Jupiter |51|49|51|49|67|37|9|18|24|15|12|34|62|79|20|15|24|29|39|14

Tabelle 1. Anzahl der zweiwöchentlich abgeschlossenen Kundenanfragen.

Er erklärt: "Die Teams sind wie eine Autobahn. Das Zählen der abgeschlossenen Anfragen ist vergleichbar mit dem Zählen der Autos, die einen Punkt in einem bestimmten Zeitraum passieren. Da es sich bei den Fahrern um verschiedene Personen mit unterschiedlichen Fahrstilen handelt, variiert die Anzahl der Autos pro Zeitraum. Die durchschnittliche Anzahl der vorbeifahrenden Autos und die Schwankungen werden durch das beschrieben, was Mathematiker eine Poisson-Verteilung nennen."

Kylie schaut sich die Daten genauer an: "Ich sehe kleine Schwankungen in den Daten. Aber auch einige große Veränderungen in den Zahlen - kleine Zahlen gefolgt von relativ großen. Aber das bedeutet nicht unbedingt, dass es sich um ein wichtiges Ereignis handelt, oder?"

"Das ist richtig", sagt John. "Das Team könnte sein Verhalten an diesem Punkt geändert haben, oder es könnte sich um eine statistische Abweichung handeln, die keine besondere Bedeutung hat."

"Wie können wir den Unterschied erkennen?" fragt Kylie.

John murmelt etwas über die Verwendung der Poisson-Verteilung, um das Team zu modellieren, und über Kriterien der Anpassungsgüte, um die Sprünge in den Daten herauszufiltern, die signifikant sind. Dann murmelt er noch dreißig Minuten lang.

Als er fertig ist, fasst Kylie zusammen, was sie daraus gemacht hat: "Wir verstehen also die Ergebnisse, indem wir eine Poisson-Verteilung verwenden, um den Output des Teams zu modellieren, und andere bekannte statistische Methoden, um festzustellen, ob ein Team sein Verhalten so stark verändert hat, dass es in den Daten auffällt?"

John nickt.

Verhaltensänderungen des Teams in den Daten sehen
"Das ist großartig!" ruft Kylie aus und schaut sich die Diagramme in Abbildung 1 an, die den Wert der Anpassungsgüte bei den 2-Wochen-Perioden auf der vertikalen Achse und den 2-Wochen-Perioden auf der horizontalen Achse zeigen. "Die Daten zeigen also keine signifikante Veränderung für Team Saturn, während das Diagramm für Team Jupiter eindeutig vier signifikante Veränderungen anzeigt."

John erklärt: "...das Diagramm für Team Saturn zeigt eine 'Goodness of Fit' (blaue Markierungen) deutlich unter 5 für den gesamten Bereich, was sehr gut ist. Das Team Jupiter hat ein ganz anderes Diagramm. Erstens ist die Skala viel größer, wie Sie an der vertikalen Achse erkennen können. Die "Sprünge" bei den Chi-Quadrat-Werten sind größer. Dies spiegelt sich in den Sprüngen bei der beobachteten Lieferrate wider. In der Abbildung wird dies durch die Pfeile angezeigt. Jeder Pfeil entspricht einem Zeitraum, in dem das Team ein konstantes Verhalten zeigt;
zumindest aus Sicht des Kunden. Um die "Sprünge" herum hat das Team offenbar sein Verhalten oder seine Arbeitsweise geändert, was zu einer anderen Lieferrate führt. Im Fall von Team Saturn ist diese Rate über die gesamte Spanne konstant
."

Abbildung 1: Die Anpassungsgüte eines statistischen Modells beschreibt, wie gut es auf eine Reihe von Beobachtungen passt. Messungen der Anpassungsgüte fassen in der Regel die Diskrepanz zwischen den beobachteten Werten und den nach dem betreffenden Modell erwarteten Werten zusammen.

Am nächsten Tag versammelt Kylie alle Coaches und zeigt ihnen die Diagramme aus Abbildung 1, wobei sie die wichtigsten Punkte aus Johns Analyse hervorhebt. "Was können wir aus all dem schließen?" fragt sie und löst damit ein lebhaftes Gespräch über Interventionen aus. Sie und die Coaches diskutieren darüber, was die Wirksamkeit von Maßnahmen ausmacht, und erkunden, wie man diese Wirksamkeit messen kann. Dann fragt sie: "Wie können wir unsere Interventionen so verbessern, dass sie einen spürbaren Einfluss auf unseren Kunden haben?"

Einige der Trainer haben Ideen dazu:

• "Visualisieren Sie die Interventionen auf einer Tafel."
• "Formulieren Sie sie als Hypothese."
• "Verfolgen Sie sie weiter auf beobachtbare Auswirkungen."
• "Überprüfen Sie das Ergebnis regelmäßig, um zu sehen, welche Maßnahmen funktionieren und welche nicht."

Mit diesen Ideen und einem neuen Tool in der Hand kann Kylie nun die Wirksamkeit des Coachings messen und die Coaches dabei unterstützen, noch besser zu werden. Sie hat messbares Feedback in Bezug auf das, was für den Kunden wichtig ist. Außerdem kann sie die Arbeit des Teams und die Arbeitsvereinbarungen genauer unter die Lupe nehmen, um mögliche Interventionen zu entdecken. Sie kann sich beruhigt zurücklehnen, weil sie weiß, dass die Ergebnisse des Coachings über ein positives Gefühl im Bauch hinausgehen - sie haben eine tatsächliche, messbare Auswirkung auf ihre Kunden.

Beginnen Sie
Möchten Sie wissen, wie John die Analyse durchgeführt hat? John hat das Tool Chi2fit verwendet. Um sofort loszulegen  gehen Sie zum Repository: piisgaaf/chi2fit/master. Oder installieren Sie aus dem Quellcode: github.com/piisgaaf/chi2fit

Möchten Sie mehr über dieses Thema erfahren? Laden Sie {{cta('b5207b27-2f0c-42a0-af0a-2887e12fcc5c')}} herunter und beginnen Sie morgen Ihre persönliche Veränderung.