Dieser Blog ist zuerst bei Xebia Global erschienen. Er wurde von uns ins Deutsche übersetzt.
In einer Welt des ständigen Upskillings sind Assessments der Kompass, der uns auf unseren Learning Journeys leitet. Sie zeigen uns, wo wir stehen und welche Bereiche verbessert werden könnten. Egal, ob du ein Unternehmens-Trainings leitest, selbst unterrichtest oder lernst, mit grosser Wahrscheinlichkeit bist du schon auf eine Vielzahl von Assessments gestossen oder hast sogar selbst ein Assessment zusammengestellt. Auf die eine oder andere Weise hast du dich vielleicht gefragt: „Ist dies wirklich der beste Weg, dies zu bewerten?“
Um diese Frage zu beantworten, werden wir die Wissenschaft und Praxis hinter der Erstellung effektiver Assessments betrachten. Dies markiert den ersten in einer Reihe von Blogposts über datengesteuertes Upskilling. In den kommenden Beiträgen werden wir tiefer in Themen wie ein Framework zur Bewertung von Datenkompetenz und die Verwendung von Assessment-Ergebnissen zur Erstellung personalisierter Upskilling-Pläne eintauchen. Mit dieser Serie wollen wir einen umfassenden Leitfaden bieten, wie du die Datenfähigkeiten und -mentalität deines Teams verbessern kannst.
Werfen wir also einen genaueren Blick darauf, was es braucht, um ein effektives Assessment zu erstellen.
Die Kraft der Assessments
Assessments sind eine Methode, um die Fähigkeiten, Kenntnisse und sogar Denkweisen und Präferenzen einer Person zu messen und zu bewerten. Allgemein bekannte Beispiele reichen von Assessments für JobkandidatInnen über Führerausweisprüfungen bis hin zu Persönlichkeitsinventaren.
Im Unternehmensumfeld sind Assessments die bevorzugte Methode, um verborgene Talente aufzudecken und Kompetenzlücken im Mitarbeitendenpool zu identifizieren. Ihre Ergebnisse werden verwendet, um wichtige Entscheidungen zu treffen, wie zum Beispiel Einstellungs- oder Upskilling-Entscheidungen, die einen erheblichen Einfluss auf die Organisation haben können.
Derzeit sind vermehrt Assessments zur Datenkompetenz gefragt. Mit strengeren Datenschutzbestimmungen und dem Einzug von KI-Lösungen in den Büroalltag, haben Organisationen erkannt, dass alle Mitarbeitenden mit Daten in Kontakt kommen. Organisationen möchten verstehen, wie gut ihre Mitarbeitenden Daten interpretieren, Datenwerkzeuge handhaben und datengesteuerte Entscheidungen treffen können. Sie möchten nicht nur Einblicke gewinnen, sondern auch eingreifen und ihre Mitarbeitenden bei Bedarf upskillen können. Hier kommen Assessments ins Spiel.
Angesichts der Auswirkungen, die Assessments haben können, würde man hoffen, dass viel Sorgfalt in ihre Entwicklung fliesst. Also, was sind einige Best Practices für die Erstellung von Assessments?
Die Kunst der Erstellung von Assessments
„Intelligenz ist das, was der [Intelligenz]test misst.“ (Boring, 1923, The New Republic)
Wer Psychologie studiert hat wird dieses Zitat erkennen. Ob es eine nützliche Definition von Intelligenz ist, sei mal dahingestellt; es ist jedoch ein hilfreiches Mantra, das man im Hinterkopf behalten sollte, wenn man einen Test oder ein Assessment entwirft. Es sollte dich immer daran erinnern, dich zuallererst zu fragen: „Was genau möchte ich testen?“
Mit anderen Worten:
Definiere ein klares Ziel
Nehmen wir an, dein Ziel ist es, Datenkompetenz zu bewerten. Welche spezifischen Fähigkeiten oder Wissensbereiche möchtest du messen? Interessierst du dich für das aggregierte Niveau der Datenkompetenz in der Organisation? Oder beabsichtigst du, die Datenkompetenz jeder und jedes Einzelnen zu messen und sie der am besten passenden Weiterbildung zuzuordnen? Denke über den Zweck deines Assessments nach und beschreibe dein Ziel so klar und deutlich wie möglich.
Mit deinem Ziel vor Augen gehst du dann dazu über, die Materialien auszuwählen, die dein Assessment bilden werden:
Wähle das richtige Format
Assessments können verschiedene Formen annehmen, wie Umfragen, praktische Fähigkeitstests oder szenariobasierte Simulationen. Überlege, welches Format am besten zu deinen Zielen und deinem Publikum passt. Während textbasierte Assessments eine effiziente Art sind, Wissen und Denkweisen zu bewerten, sind aufgabenbasierte Assessments eine grossartige Möglichkeit, Leistung und Fähigkeiten zu bewerten. Letztere können sogar dazu verwendet werden, Gewohnheiten und Präferenzen zu ermitteln, die die Teilnehmenden nicht in Worte fassen können.
Verwende die passenden Fragetypen
Manchmal ist alles, was man für ein Assessment braucht, eine Liste von Fragen. Klingt einfach, oder? Nun, ohne die Laune verderben zu wollen, aber es gibt tatsächlich verschiedene Arten, Fragen zu stellen, und jede hat ihre Vor- und Nachteile.
Nehmen wir zum Beispiel offene Fragen in einer Umfrage. Sie fordern die Teilnehmenden auf, ihre Antwort in ein Textfeld einzugeben. Dadurch haben die Teilnehmenden die Möglichkeit, ihre Gedanken in ihren eigenen Worten auszudrücken, aber die Verwendung natürlicher Sprache kann die Analyse verkomplizieren. Geschlossene Fragen wie Multiple-Choice-Fragen bieten den Teilnehmenden hingegen begrenzte Antwortmöglichkeiten zur Auswahl. Dies macht es leichter, geschlossene Fragen in grösserem Massstab zu analysieren, aber man riskiert auch, dass eine wichtige Antwort fehlt, die informativ gewesen wäre.
Um das Beste aus beiden Welten zu bekommen, ist es üblich, Multiple-Choice-Fragen mit einer freien Texteingabeoption für „Sonstige“ zu beenden. Wenn du jedoch eine Antwort im Stil eines Bewusstseinsstroms suchst, dann geht nichts über eine gut formulierte offene Frage.
Plane den Fragenfluss
Eine Reihe von Fragen kann entweder statisch sein, was bedeutet, dass jede Frage in einer vordefinierten Reihenfolge erscheint, oder dynamisch, was bedeutet, dass sich die Fragen an die Antworten der Teilnehmenden anpassen. Zum Beispiel, wenn ein anfänglicher Block von Fragen offenbart, dass der Teilnehmende ein Datenneuling ist, wäre es sinnlos, ihn auf sein Programmierwissen zu testen, aufgrund einer statischen Fragenreihenfolge. Der Nachteil einer dynamischen Fragenreihe ist jedoch, dass sie mehr Planung erfordern und nicht von jedem Umfragetool unterstützt werden.
Wäge den Schwierigkeitsgrad ab
Auch wenn schwierige Assessments zu einer wütenden Meute vor deinem Büro führen oder Bewerberinnen und Bewerber verwirrt und enttäuscht zurücklassen können, gibt es einige Vorteile. Eine strengere Bewertung kann notwendig sein, um zwischen Teilnehmenden mit stärkeren und schwächeren Fähigkeiten zu unterscheiden. Im Gegensatz dazu kann ein zu einfaches, einem Trostpreis ähnelnden Assessment zu wenig Variabilität in den Auswertungen führen und daher wenig Einblick in interindividuelle Unterschiede bieten. Eine allgemeine Empfehlung ist daher, eine Balance zwischen einfachen und herausfordernden Assessment-Elementen anzustreben, damit die Teilnehmenden engagiert bleiben und das Assessment abschliessen.
Rekonstruiere das Scoring
Denke rückwärts: Beginne damit, dir die Analysen vorzustellen, die du auf den Bewertungsergebnissen durchführen möchtest. Vielleicht möchtest du unterschiedliche Kategorien der Datenkompetenz ableiten, oder vielleicht möchtest du eine Korrelation zwischen Datenfähigkeiten und Einstellungen zu Daten berechnen. Dann, basierend auf dem Typ der Analyse, rekonstruiere die zugrundeliegenden Messskalen und statistischen Kriterien, die deine Bewertungsergebnisse erfüllen müssen. Zum Beispiel müssen für die Berechnung einer linearen Korrelation die beiden Variablen auf einem Intervall- oder Verhältnisniveau der Messung sein, was bedeutet, dass die Werte auf der Messskala in eine Rangordnung gebracht werden können und es einen gleichen Abstand zwischen jedem Wert auf der Skala gibt.
Abb. 1: Mit dem Ziel deines Assessments im Hinterkopf solltest du eine Balance zwischen den verschiedenen Assessment-Formaten, Fragetypen, Fragenfolgen und Schwierigkeitsgraden finden, die am besten zu deinem Zweck passen.
Ok, jetzt kennst du die Bestandteile, aus denen ein Assessment typischerweise zusammengesetzt ist. Aber woher weisst du, ob dein Assessment misst, was es soll? Hier kommt die Psychometrie ins Spiel.
Die Wissenschaft der Psychometrie
Psychometrie ist die Wissenschaft der Messung psychologischer Attribute wie Fähigkeiten, Kenntnisse, Denkweisen und Meinungen. Sie liefert die Methodologie, um zu überprüfen, ob dein Assessment genau, präzise und vertrauenswürdig ist.
Im Kern der Psychometrie steht eine Reihe von Kriterien, die den Polarstern der Testqualität darstellen. Wenn du ein wirklich genaues und vertrauenswürdiges Assessment entwerfen möchtest, solltest du darauf abzielen, diese Kriterien zu erfüllen. Spoiler: Du wirst sie nie zu 100 % erfüllen; alles über 70 % ist akzeptabel, über 80 % ist gut und über 90 % ist ausgezeichnet. Deshalb kommt man in der Praxis oft mit gesundem Menschenverstand und den im nächsten Abschnitt umrissenen Tipps zum Ziel. Es schadet jedoch nicht, den Polarstern zu kennen, damit du weisst, in welche Richtung du gehen solltest.
Die Testqualitätskriterien sind:
Objektivität
Die Ergebnisse deines Assessments sollten unbeeinflusst davon sein, wer das Assessment durchführt.
Dies ist besonders relevant für persönliche Assessments, bei denen die Testausführenden sorgfältig geschult werden müssen, um die Art und Weise, wie sie Teilnehmende durch das Assessment führen, zu standardisieren. Bei computerisierten Assessments, die ohne eine testausführende Person auskommen, ist dies weniger ein Problem. In diesem Fall ist es jedoch entscheidend, dass die Anweisungen und der Testinhalt für jede und jeden Teilnehmenden kristallklar und eindeutig sind.
Reliabilität
Dein Assessment sollte konsistent und verlässlich sein. Das bedeutet, wenn du dasselbe Assessment derselben Person zweimal vorlegen würdest, sollte dasselbe Ergebnis herauskommen.
Um eine hohe Reliabilität zu erreichen, hat es sich bewährt, Pilottests durchzuführen, eine konsistente Bewertung zu verwenden und mehrdeutige Fragen zu eliminieren. Um zu überprüfen, ob du erfolgreich warst, wiederhole ein Assessment (Test-Retest-Reliabilität), oder vergleiche Testelemente, die dieselbe latente Variable messen sollen (interne Konsistenz), und berechne einen Korrelationskoeffizienten als Mass für Reliabilität. Eine gängige Praxis im Fragebogendesign ist es, dieselbe Frage in zwei oder mehr Varianten einzubauen und zu überprüfen, ob die Leute konsistent antworten.
Validität
Das Assessment sollte messen, was es messen soll.
Für ein Assessment zur Datenkompetenz zum Beispiel möchtest du sicherstellen, dass es tatsächliche Datenfähigkeiten bewertet und nicht irrelevantes Wissen. Dies kannst du tun, indem du testest, ob die Fähigkeiten der Teilnehmenden im Assessment mit ihren Fähigkeiten im Job korrelieren. Überprüfe zum Beispiel, ob Teilnehmende, die laut deinem Assessment fortgeschrittene Programmierkenntnisse haben, auch laut Code-Reviews im Job gut abschneiden.
Abb. 2: Hohe Validität bedeutet, dass dein Assessment das Ziel trifft. Hohe Reliabilität bedeutet, dass dein Assessment wiederholt denselben Punkt trifft (ob es nun das Ziel ist oder nicht). Mit niedriger Reliabilität ist es unmöglich, hohe Validität zu erreichen, denn wenn ein Assessment unterschiedliche Ergebnisse liefert, weisst du einfach nicht, welches Ergebnis das Ziel getroffen hat. Daher solltest du immer sowohl hohe Validität als auch hohe Reliabilität anstreben.
Fairness und Vermeidung von Verzerrungen
Vermeide Assessment-Elemente, die bestimmte Demografien oder Hintergründe bevorzugen. Wenn deine Assessment-Anweisungen ausschliesslich männliche Beispiele bieten, sei nicht überrascht, wenn weibliche Teilnehmende die Anweisungen anders interpretieren. Es ist auch hilfreich, sich kultureller Verzerrungen bewusst zu sein. Zum Beispiel ist es in einigen Regionen normal, absolut zuzustimmen oder abzulehnen, während in anderen Regionen Extreme als unhöflich gelten und Teilnehmende höchstens etwas zustimmen oder ablehnen werden. Berücksichtige dies beim Entwerfen deiner Antwortoptionen.
Vermeide weiterhin Fragen, die implizieren, welche Art von Antwort sozial erwünscht wäre. Gegebenenfalls werden Teilnehmende – bewusst oder unbewusst – dazu neigen, sich in einem besseren Licht darzustellen. Dies kann nachteilig sein, wenn du versuchst, Fähigkeitsbereiche aufzudecken, die Verbesserung benötigen. Um diese Art von Antwortverzerrung zu reduzieren, wähle deine Formulierungen so, dass Teilnehmende motiviert werden, sich so wahrheitsgetreu wie möglich zu präsentieren.
Nun wissen wir, dass wir auf den Polarstern der Testqualität zielen sollten. Wie machen wir das in der Praxis?
Erstellung eines Assessments
Lass uns die Ärmel hochkrempeln und die praktischen Schritte zur Erstellung eines Assessments durchgehen. Zur Veranschaulichung bleiben wir bei unserem Beispiel der Datenkompetenz.
Erstelle einen Fragenkatalog
Erstelle eine Sammlung von Fragen, die verschiedene Aspekte der Datenkompetenz abdecken. Du könntest auch automatisierte Item-Generierung in Betracht ziehen, für die du eine Testitem-Vorlage erstellst und einen Computeralgorithmus Testitems generieren lässt. Stelle sicher, dass du mehrere Fragen zum selben Thema inkludierst und sie sowohl positiv als auch negativ formulierst, um der Tendenz zum „Ja-Sagen“, dem Phänomen, dass Befragte zur Zustimmung neigen, wenn sie unsicher sind, entgegenzuwirken.
Randomisiere Fragen und Antworten
Durch das Mischen der Reihenfolge von Fragen und Antwortoptionen pro befragter Person reduzierst du das Risiko, dass die Reihenfolge der Fragen oder Assessment-Elemente deine Ergebnisse beeinflusst.
Pilotiere das Assessment
Führe das Assessment bei einer kleinen Gruppe durch und sammle Daten darüber, ob jedes Assessment-Element oder jede Frage dazu beiträgt, das Ziel auf effektive und sinnvolle Weise zu erfassen. Werden einige Fragen von allen identisch beantwortet? Schmeiss sie raus. Siehst du Anzeichen von Antwortverzerrungen, wie eine unrealistisch grosse Gruppe von Personen, die durch das Assessment als „hochqualifiziert“ bewertet werden? Formuliere die betroffenen Fragen um und bearbeite die Antwortoptionen.
Bewerte die Pilotergebnisse mit deinem Fachwissen und gesundem Menschenverstand. Erzählen die Ergebnisse eine stimmige Geschichte? Fällt etwas als ungewöhnlich oder überraschend auf? Jetzt ist der Zeitpunkt, den Advocatus Diaboli zu spielen und zu untersuchen, ob irgendwelche Ergebnisse durch Fehler im Assessment-Design enstanden sein könnten.
Betrachte die Item-Analyse
Wenn Präzision und Genauigkeit deines Assessments deine höchsten Prioritäten sind, solltest du eine Item-Analyse in Betracht ziehen, die statistische Methode zur Bewertung und Auswahl der Testitems, die ein Assessment bilden. Sie wird verwendet, um die Schwierigkeit und die Diskriminierungsfähigkeit jedes Assessment-Elements zu analysieren und – in einem iterativen Prozess – für einen Test zu optimieren, der die Attribute, die du messen möchtest, genau misst. Zum Beispiel kann die Item-Analyse dir helfen, Items auszuwählen, die effektiv zwischen den Niveaus der Datenkompetenz differenzieren.
In Fällen, in denen ein falsches Ergebnis weitreichende Konsequenzen haben kann, wie bei diagnostischen Tools, ist eine Item-Analyse absolut notwendig. Da sie jedoch mehrere Iterationen und mehr Ressourcen erfordert, wird sie oft in der Entwicklung von Unternehmens-Assessments übersprungen. Wenn du also nach dem effektivsten Assessment suchst, plane Budget für Item-Analyse und Optimierung ein.
Bonus: Gib den Teilnehmenden sofortiges Feedback, um das Lernen zu fördern
Nutze den Schwung, den deine Assessment-Ergebnisse erzeugt haben, und folge mit einem Aktionsplan. Nach der Teilnahme an unserem Assessment zur Datenkompetenz sollten die Teilnehmenden idealerweise sofortiges Feedback zu ihren Stärken und Schwächen erhalten und zu ihrem personalisierten Upskilling-Plan geleitet werden.
Abb. 3: Ein gut gestaltetes Assessment ist der ideale Ausgangspunkt für eine massgeschneiderte Upskilling-Reise. Hier gezeigt sind die Entwicklungsschritte von einem Assessment zur Datenkompetenz zu einem Upskilling-Programm, das dynamisch mit den Assessment-Ergebnissen aller Teilnehmenden verknüpft werden kann.
Fazit
Assessments helfen uns, Lernfortschritte zu navigieren und zu verstehen. Sie können mächtige Werkzeuge sein, um verborgene Talente aufzudecken, Kompetenzlücken zu identifizieren und Wege zur Verbesserung aufzuzeigen.
Mit einem guten Verständnis der Herausforderungen und Fallstricke des Assessment-Designs wirst du gut darauf vorbereitet sein, dich auf die Reise zu machen, ein effektives Assessment zu erstellen. Folge den Prinzipien der Objektivität, Reliabilität, Validität und Fairness, und du wirst Assessments entwerfen, die nicht nur das Lernen messen, sondern auch ein Umfeld des Wachstums fördern.
Beim nächsten Mal in der Serie „Datengesteuertes Upskilling“ werden wir uns speziell auf ein Framework zur Bewertung der Datenkompetenz konzentrieren. Bleib dran für weitere Einblicke, wie du das volle Potenzial von Daten nutzen kannst, um dein Team weiterzubilden!
Referenzen
Boring, E. G. (1923). Intelligenz, wie der Test sie misst. The New Republic, 35, 35–37.
Foto von Paulius Dragunas on Unsplash
