Warum die meisten Trainings, Coachings und Assessments keine messbare Veränderung bewirken
Unternehmen investieren erheblich in Trainings, Coaching und Assessments, doch die meisten Programme hinterlassen keine messbare Spur im Verhalten oder in der Leistung. Die Forschung zu Trainingstransfer, Feedback-Interventionen und psychometrischer Reliabilität erklärt warum, und was ein messungsorientiertes Design tatsächlich erfordert.
Die Lücke zwischen Aktivität und Ergebnis
Die meisten Unternehmen können angeben, wie viele Personen an einer Schulung teilgenommen haben, wie viele Coaching-Stunden geleistet wurden oder wie viele Mitarbeitende ein Assessment abgeschlossen haben. Deutlich weniger können sagen, ob sich dadurch tatsächlich etwas am Verhalten der Menschen bei der Arbeit verändert hat. Das ist die Lücke zwischen Aktivität und Ergebnis: Aktivität zu messen ist administrativ einfach; Ergebnis zu messen erfordert eine andere Art von Design-Disziplin, die die meisten Programme von Anfang an nicht einplanen.
Diese Lücke ist keine methodische Randnotiz. Sie entscheidet darüber, ob sich eine Trainings- oder Coaching-Investition gegenüber der Finanzabteilung rechtfertigen lässt, ob ein Assessment-Ergebnis für eine Personalentscheidung verlässlich ist, und ob ein Entwicklungsprogramm tatsächlich jemanden weiterentwickelt.
Kirkpatricks vier Ebenen, und warum die meiste Evaluation nie über Ebene 1 hinauskommt
Donald Kirkpatricks Vier-Ebenen-Modell, erstmals 1959 vorgeschlagen und bis heute das dominierende Rahmenmodell in der Trainingsevaluation, unterscheidet Reaktion (hat es den Teilnehmenden gefallen), Lernen (haben sie Wissen oder Fähigkeiten erworben), Verhalten (haben sie es bei der Arbeit angewendet) und Ergebnisse (hat es organisationale Kennzahlen beeinflusst). Das Modell ist einfach zu formulieren und schwer umzusetzen, denn jede Ebene erfordert einen grundlegend anderen Messansatz: Zufriedenheitsumfragen für Ebene 1, Wissenstests für Ebene 2, direkte oder durch Vorgesetzte bewertete Beobachtung für Ebene 3, und die Verfolgung von Geschäftskennzahlen für Ebene 4.
Vielzitierte Branchen-Benchmarks zur Praxis der Trainingsevaluation zeigen ein konsistentes Muster: nahezu alle Unternehmen messen die Reaktion auf Ebene 1, eine Minderheit misst Lernzuwächse auf Ebene 2, und nur ein kleiner Teil erreicht jemals Verhaltensänderung auf Ebene 3 oder Geschäftsergebnisse auf Ebene 4. Die praktische Konsequenz: Die meisten Unternehmen wissen, wie ein Trainings- oder Coaching-Programm aufgenommen wurde, aber fast nichts darüber, ob es etwas verändert hat.
Das Trainingstransfer-Problem
Timothy Baldwin und J. Kevin Fords grundlegende Übersichtsarbeit von 1988 in Personnel Psychology bezeichnete dies als Transferproblem: die Lücke zwischen dem, was in einem Trainings- oder Coaching-Kontext gelernt wird, und dem, was tatsächlich am Arbeitsplatz angewendet wird. Ihr Modell identifiziert drei Kategorien von Faktoren, die den Transfer bestimmen: Merkmale der Teilnehmenden (Fähigkeit, Motivation, Persönlichkeit), Trainingsdesign (inwieweit Inhalte und Übungsbedingungen der realen Arbeitsumgebung entsprechen) und Arbeitsumgebung (ob eine Führungskraft, ein Team oder ein System das neue Verhalten verstärkt, sobald jemand in seine Rolle zurückkehrt).
Der dritte Faktor ist der, den die meisten Programme ignorieren. Eine gut konzipierte Coaching-Maßnahme oder Trainingsmaßnahme kann echtes Lernen erzeugen und trotzdem keine Verhaltensänderung bewirken, weil nichts in der tatsächlichen Arbeitsumgebung der teilnehmenden Person das neue Verhalten unterstützt, belohnt oder überhaupt zulässt, sobald die Sitzung endet.
Warum Reaktionswerte keine Verhaltensänderung vorhersagen
Der "Happy Sheet", eine Zufriedenheitsumfrage nach der Sitzung, ist das gängigste Messinstrument in Training und Coaching, und einer der schwächsten Prädiktoren für irgendetwas außer sich selbst. Sitzmann und Elys Metaanalyse von 2011 im Psychological Bulletin fand, dass selbst eingeschätztes Lernen deutlich stärker mit affektiven Ergebnissen, Motivation und Zufriedenheit, korreliert als mit tatsächlichem kognitivem Lernzuwachs. Mit anderen Worten: Teilnehmende können eine Trainingssitzung als wertvoll und angenehm bewerten, während sie fast nichts von ihrem Inhalt behalten oder anwenden, und ein Zufriedenheitswert wird diesen Unterschied nicht sichtbar machen.
Das ist relevant, weil Reaktionsdaten billig zu erheben und leicht nach oben zu berichten sind, was den Anreiz schafft, sie als Ersatzmaß für Wirksamkeit zu behandeln. Das sind sie nicht.
Wenn Feedback und Assessment nach hinten losgehen
Eine weitere Komplikation: Feedback, der Mechanismus, auf den sich die meisten Trainings- und Coaching-Programme zur Verbesserung verlassen, verbessert die Leistung nicht zuverlässig. Kluger und DeNisis Metaanalyse von 1996 im Psychological Bulletin, die 607 Effektstärken aus 23.663 Beobachtungen umfasste, fand, dass Feedback-Interventionen die Leistung im Durchschnitt verbesserten, aber dass mehr als ein Drittel von ihnen sie verschlechterte. Ihre Feedback-Interventionstheorie führt dies darauf zurück, wohin Feedback die Aufmerksamkeit einer Person lenkt: Feedback, das den Fokus auf die Aufgabe richtet, verbessert die Leistung, während Feedback, das den Fokus auf die Person selbst richtet, Lob, Kritik oder Vergleich mit anderen, sie untergraben kann.
Die Implikation für das Assessment-Design is