Wien – Sind wir bei Pisa wirklich schlechter geworden? Diese Frage beantwortete der Statistiker Erich Neuwirth auf derStandard.at mit dem Einwand: "Die Aussagekraft der Pisa-Werte für Österreich ist sehr relativ zu sehen. Nach diesem Test ist bei weitem nicht statistisch gesichert, dass wir uns verschlechtert haben. Vor allem, weil die Verschlechterung zum größten Teil nur bei den Mädchen festgestellt wird."

Tastatur statt Bleistift

Der Wechsel der Messmethode – erstmals mussten die getesteten Schülerinnen und Schüler alle Beispiele am Computer lösen, nicht wie bisher mit Bleistift und Papier – und die fehlende Vergleichsmöglichkeit mit den früheren Testungen reduziere die Aussagekraft der nun vorliegenden Pisa-Ergebnisse drastisch, sagte der ehemalige Statistikprofessor an der Universität Wien zu derStandard.at. Österreich hatte kurzerhand wegen eines vermeintlichen Datenlecks die Pisa-Vorarbeiten gestoppt und den Feldtest, der die Vergleichbarkeit ermöglicht hätte, nicht mitgemacht.

In Deutschland lieferte der Feldtest Hinweise darauf, "dass die Pisa-Aufgaben im Mittel am Computer schwerer waren als auf Papier", ist im Österreich-Bericht zu Pisa zu lesen. Die "Mode Effects" – also Effekte im Zuge des Wechsels vom Papier-Test zu computerbasierter Testung – scheinen in den Naturwissenschaften am größten und bei den Lesebeispielen am geringsten zu sein.

Keine substanziellen Veränderungen

Nachgefragt bei Claudia Schreiner, der Direktorin des Bundesforschungsinstituts für Bildungsforschung, Innovation und Entwicklung des Bildungswesens (Bifie), das für die Durchführung der Pisa-Studie in Österreich zuständig ist, ob Österreich denn nun wirklich schlechter geworden sei gegenüber dem Pisa-Jahr 2015, antwortet sie: "Was wir nicht machen können, ist, auf Basis von landesinternen Daten den Effekt des Umstiegs auf computerbasierten Test zu analysieren. Die Entwicklung der Kompetenzen kann man anhand der jeweiligen Verortung in der Gruppe der OECD-Länder ja trotzdem nachvollziehen. Und da lässt sich doch eindeutig sehen: In diesem engen Mittelfeld, in dem Österreich liegt, kann man recht sicher schließen, dass es zumindest nicht besser wird. Drei, vier Punkte auf oder ab sind keine substanziellen Veränderungen. Insgesamt kann man das große Bild im OECD-Raum sehr wohl vergleichen."

International vergleichbar, national nicht

Die internationale Vergleichbarkeit zwischen den Ländern sei jedenfalls gegeben, habe die großangelegte "Mode Effect-Studie" der OECD gezeigt. Die "Mode Effect-Studie" sollte die Auswirkungen des "Übersetzungsprozesses" von Papier-Tests in Computer-Tests nachvollziehbar machen.

Diese abgesicherte internationale Vergleichbarkeit schließe aber nicht aus, "dass in einzelnen Ländern Veränderungen in den Ergebnissen zumindest zum Teil mit dem Wechsel der Erhebungsmodalität zusammenhängen", heißt es in einem Pisa-Bericht des Bifie. Das heißt: die Computertestung war für alle gleich und gleich neu. Nur welche Effekte sie auf die Schülerinnen und Schüler hatte, weiß man eben nicht so genau, wenn man keinen aussagekräftigen Vergleichstest im Vorfeld gemacht hat wie Österreich.

Am Computer schwieriger?

Warum aber sind denn Pisa-Fragen am Computer überhaupt möglicherweise schwieriger als auf Papier? Weil mitunter vermeintlich unbedeutende Details doch einen Unterschied machen, erklärt Bifie-Direktorin Schreiner: "Etwa wenn bei Lese-Beispielen früher der Text auf einer Doppelseite im Testheft war und jetzt hin- und hergescrollt werden muss."

Oder weil der Test am PC neue Möglichkeiten für Testaufgaben, zum Beispiel im Bereich des Planens und Durchführens von Experimenten, eröffnet – und diese von den Schülerinnen und Schülern vielleicht als schwerer empfunden wurden, was das gesamte Testsetting (negativ) beeinflussen könnte.

Kontexteffekte

Damit zusammenhängen könnten auch sogenannte Kontexteffekte, was bedeutet, dass Items, also Testfragen, im Kontext funktionieren, erklärt Schreiner. So tun sich Schülerinnen und Schüler mit Testaufgaben leichter, wenn sie vorher leichtere, also lösbare – und mit Erfolgserlebnissen verbundene – Aufgaben haben. Wenn dieselben Testaufgaben aber nach einer Reihe sehr schwieriger, komplexer Fragen gleich am Anfang eines Tests kommen, dann tun sich die Getesteten mit diesen Aufgaben in diesem anderen Kontext plötzlich schwerer.

Als Erklärungsansatz für die vergleichsweise schlechteren Leistungen der Mädchen bei der Pisa-Computertestung sei laut Schreiner die "Hypothese, dass computerbasiertes Testen den Mädchen weniger entgegenkommt als den Buben, nicht ganz von der Hand zu weisen." Um das zu erhärten, gehörten "Effekte des Umstiegs auf computerbasiertes Testen auch im Hinblick auf den regulären Schulbetrieb natürlich genauer untersucht". (Lisa Nimmervoll, 10.12.2016)