Warum lässt sich Cronbachs Alpha bei adaptiven Instrumenten nicht berechnen?

Cronbachs Alpha ist die verbreitetste Kennzahl für interne Konsistenz. Sie misst, wie stark Items, die dasselbe Konstrukt erfassen sollen, miteinander kovariieren. Für ein Instrument mit festem Fragebogen ist sie unmittelbar berechenbar. Für ein adaptives Instrument ist sie es nicht — und das ist kein philosophischer, sondern ein rechnerischer Einwand.

Die Voraussetzung, die adaptive Auswahl verletzt

Alpha ist eine Funktion der Kovarianzmatrix über Items. Diese Matrix setzt voraus, dass hinreichend viele Personen dieselben Items beantwortet haben. Psydar stellt pro Sitzung fünf bis zehn Fragen aus einem sehr großen Pool möglicher Formulierungen zusammen, und zwar dort, wo über die betreffende Person am wenigsten bekannt ist. Zwei Personen sehen daher fast nie denselben Satz Items.

Entscheidend ist nicht, dass die Matrix Lücken hat — damit kommen moderne Verfahren zurecht. Entscheidend ist, dass die Lücken nicht zufällig sind: welches Item jemand vorgelegt bekommt, hängt vom aktuellen Schätzwert dieser Person ab. Die fehlenden Zellen sind also mit genau der Größe korreliert, die geschätzt werden soll. Mehr Befragte lösen das nicht auf.

Genau diese Konstellation ist aus dem computergestützten adaptiven Testen bekannt. Dort hat die Item-Response-Theorie die klassische Testtheorie historisch abgelöst, weil deren Kennzahlen an derselben Stelle nicht mehr definiert waren.

Zwei Einwände, die auch bei festen Fragebögen gelten

Alpha ist zudem keine Eigenschaft eines Tests, sondern eine Eigenschaft von Werten in einer bestimmten Stichprobe (Nunnally & Bernstein). Dieselben Items können bei anderer Stichprobe, anderem Sprachniveau oder anderer Übersetzungswahrnehmung ein anderes Alpha ergeben.

Und in einer Querschnittserhebung sind zwei Ursachen von Item-Divergenz nicht trennbar: dass Befragte eine Formulierung unterschiedlich verstanden haben, und dass sie tatsächlich Unterschiedliches erlebt haben. Beides fällt in denselben Fehlerterm. Das ist ein bekanntes, ungelöstes Grundproblem der Kennzahl — Cronbach selbst ging später zur Generalisierbarkeitstheorie über. Trennen lässt sich das nur über wiederholte Messung derselben Person über echte verstrichene Zeit: eine stabile Fehlinterpretation erzeugt einen konsistenten Versatz, eine echte Veränderung eine Drift.

Was stattdessen in Frage kommt

McDonalds Omega (ω) — faktorenanalytisch statt rein kovarianzbasiert, zunehmend als korrekter Nachfolger anerkannt. McNeish (2018), „Thanks coefficient alpha, we'll take it from here“, Psychological Methods 23(3), 412–433; praktische Einführung bei Revelle & Condon (2019), Psychological Assessment 31(12), 1395–1411. Die Debatte ist nicht abgeschlossen — eine Gegenposition vertreten Raykov & Marcoulides (2017), Educational and Psychological Measurement 77(2), 200–210.
Generalisierbarkeitstheorie — behandelt unvollständige und unbalancierte Designs ausdrücklich und zerlegt Varianz in mehrere Facetten (Person, Item, Zeitpunkt). Cronbach, Gleser, Nanda & Rajaratnam (1972), The Dependability of Behavioral Measurements.
IRT-basierte marginale Reliabilität — historisch für adaptives Testen entwickelt und deshalb technisch am nächsten am Problem. Braucht allerdings Volumen pro Item, nicht pro Person.
Latent-State-Trait-Ansätze — trennen Trait-, State- und Fehlervarianz und passen fachlich zu zustandsartigen Konstrukten. Siehe Latent-State-Trait-Theorie.

Stand bei Psydar

Keine dieser Kennzahlen ist bislang berechnet. Die Items sind auf eine interne Konsistenz von mindestens 0,75 hin entworfen, aber nie an einer ausreichenden Stichprobe erhoben und ausgewertet worden — das ist eine Entwurfsabsicht, kein Befund. Zum Vergleich: Culture Amp berichtet für seine Instrumente Werte zwischen 0,80 und 0,90. Der Mindestweg zu belastbaren Zahlen umfasst mindestens fünf Organisationen, mindestens 200 Beschäftigte und vier oder mehr Wochen wöchentlicher Sitzungen.

Simulierte Antworten eines Sprachmodells sind dafür kein Ersatz. Reliabilität setzt voraus, dass Antwortende eine vom Instrument unabhängig existierende Ausprägung haben, auf die die Items unvollkommen zugreifen. Ein Modell, das die Items aus derselben Literatur kennt, aus der sie geschrieben wurden, gäbe die eigene theoretische Struktur zurück — mit einer Zahl daran.

Kurzantworten

Warum genau scheitert Alpha an adaptiver Itemauswahl?

Alpha ist eine Funktion der Kovarianzen zwischen Items, die alle Befragten beantwortet haben. Ein adaptiver Selektor stellt jeder Person eine andere, jeweils kleine Auswahl aus einem großen Pool. Die Person-mal-Item-Matrix ist damit nicht nur lückenhaft, sondern systematisch lückenhaft: welches Item jemand sieht, hängt vom bisherigen Schätzwert dieser Person ab.

Ist ein niedriges Alpha dann einfach ein Datenproblem?

Es ist ein Rechenproblem, kein Datenmengenproblem. Mehr Befragte füllen die Matrix nicht auf, weil die Lücken durch das Auswahlverfahren entstehen und nicht durch Zufall. Dieselbe Situation führte beim computergestützten adaptiven Testen historisch dazu, dass die Item-Response-Theorie die klassische Testtheorie ablöste.

Welche Alternativen sind fachlich anerkannt?

McDonalds Omega als faktorenanalytischer Nachfolger von Alpha, die Generalisierbarkeitstheorie für unbalancierte Designs, IRT-basierte marginale Reliabilität für adaptive Tests und die Latent-State-Trait-Theorie für die Trennung von Trait-, State- und Fehlervarianz. Für Psydar ist bislang keine dieser Kennzahlen berechnet worden.