Über uns
Veranstaltungen
Forschung
Instrumente
Mitglieder

Sind Tests bzw. Testaufgaben in der Lage, Effekte von Unterricht zu erfassen?

Die Instruktionssensitivität von Tests oder Testaufgaben stellt ein wichtiges Validitätskriterium dar und erfasst, ob Tests oder Testaufgaben in der Lage sind, Effekte von Schule und/oder Unterricht zu erfassen. Instruktionssensitivität ist immer dann vorauszusetzen, wenn basierend auf Daten aus Schulleistungstests Rückschlüsse über die Schule oder den Unterricht gezogen werden sollen (z.B. für testdatenbasierte Schul- und Unterrichtsentwicklung). In der aktuellen Praxis findet das Konzept der Instruktionssensitivität allerdings wenig Berücksichtigung, was u.a. auf den geringen Bekanntheitsgrad und die aufwendigen und komplexen Methoden zur Überprüfung des Kriteriums zurückzuführen ist. Im Rahmen des COINS-Projekts werden neue Ansätze und Verfahren erprobt, um die Überprüfung und Sicherstellung der Instruktionssensitivität anwendungsfreundlicher und ökonomischer zu gestalten.

Instruktionssensitivität von Tests und Testaufgaben – Ein wichtiges Validitätskriterium
Die Instruktionssensitivität von Testaufgaben stellt eine wichtige Voraussetzung dar, wenn basierend auf Leistungstestdaten der Schüler/innen Rückschlüsse über die Schule und/oder den Unterricht gezogen werden sollen. Dies gilt für Anwendungskontexte wie (1) testdatenbasierte Schul- und Unterrichtsevaluationen, (2) testdatenbasierte Schul- und Unterrichtsentwicklung, (3) testdatenbasierte Schul- und Unterrichtseffektivitätsforschung oder auch (4) die evidenzbasierte Steuerung des Bildungssystems.

Die Instruktionssensitivität von Tests oder Testaufgaben ist ein wichtiges Validitätskriterium. Instruktionssensitive Tests bzw. Testaufgaben zeichnen sich dadurch aus, dass sie in der Lage sind, Effekte von Schule und/oder Unterricht zu erfassen (genauer: Effekte von Schule und/oder Unterricht auf die Leistungen der Schüler/innen abzubilden). Ist Instruktionssensitivität nicht hinreichend gegeben, können Lehrpersonen mit hohem Aufwand und in hoher Qualität Unterricht gestalten, ohne dass sich dies in den Leistungstestdaten der Schüler/innen widerspiegelt. Der Test ist also gewissermassen «blind» für das Lernen der Schüler/innen.

In den oben genannten Kontexten (1–4) ist die Evaluation der Instruktionssensitivität als komplementär gegenüber den Analysen anzusehen, welche für die jeweilige Anwendung durchgeführt werden. Beispiel: Bei der testdatenbasierten Unterrichtsevaluation werden Daten von Schüler/innen aus Schulleistungstests herangezogen, um Hinweise auf die Unterrichtsqualität zu erhalten. Bei der Evaluation der Instruktionssensitivität wird hingegen überprüft, ob die jeweiligen Tests oder Testaufgaben valide Hinweise auf die Unterrichtsqualität geben können (Abbildung 1).

Abbildung 1. Die Evaluation der Instruktionssensitivität von Tests und die testdatenbasierte Unterrichtsevaluation als ein Beispiel der komplementären Beziehung (in Anlehnung an Musow, in Vorbereitung).

Was bedeutet die Instruktionssensitivität für förderorientierte Tests?
Förderorientierte Tests sollen primär Hinweise darauf geben, in welchen Bereichen und auf welche Weise das Lernen der Schüler/innen unterstützt werden kann. Wichtige Instrumente für die Lehrpersonen und die Schüler/innen stellen dabei Lernstandserhebungen (wie VERA in Deutschland) und digitale Lernfördersysteme (wie Lernlupe, Lernpass plus oder Checks/Mindsteps in der Schweiz) dar. Die bereitgestellten Rückmeldungen der Testergebnisse sowie die Begleitmaterialien und Lernangebote sollen auch zu einer systematischen, evidenzbasierten Weiterentwicklung des Fachunterrichts beitragen. Testergebnisse sollten jedoch nur dann auf den Unterricht bezogen werden, wenn die Resultate der Schüler/innen von diesem beeinflusst werden können. Voraussetzung dafür, dass die Testergebnisse überhaupt für Unterrichtsentwicklung verwendet werden können, ist also, dass die Tests instruktionssensitiv sind.

Ist es immer erforderlich, dass ein in Schulen eingesetzter Test instruktionssensitiv ist? Entscheidend dafür ist, wie die Testdaten später interpretiert und genutzt werden. Nicht jeder standardisierte Schulleistungstest muss per se instruktionssensitiv sein. Ist das Ziel eine Individualdiagnostik, bei der die erreichten Kompetenzen der einzelnen Schülerin/ des einzelnen Schülers im Vordergrund stehen und der unterrichtliche und schulische Kontext nachrangig ist, muss auch das Gütekriterium der Instruktionssensitivität nicht berücksichtigt werden.

Um eine valide Testwertinterpretation und -nutzung zu gewährleisten, sind alle Beteiligten in der Verantwortung. Dort wo die Instruktionssensitivität aufgrund der intendierten Nutzung und Interpretation der Testdaten eine Rolle spielt, ist diese von den Verantwortlichen sicherzustellen. Dort wo Instrumente eingesetzt werden, ist die intendierte Nutzung und Interpretation der Testresultate zu berücksichtigen.

COINS-Projekt – Konstruktion von instruktionssensitiven Testaufgaben
Mit dem vom Schweizerischen Nationalfonds (SNF) und der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekt zur Konstruktion von instruktionssensitiven Testitems (COINS) wird das Ziel verfolgt, Merkmale von Mathematik-Testaufgaben zu identifizieren, welche die Instruktionssensitivität beeinflussen. Die Identifizierung solcher Aufgabenmerkmale wäre von grossem Nutzen, um instruktionssensitive Tests bzw. Testaufgaben gezielter und damit effektiver entwickeln zu können. Ein weiteres Ziel des COINS-Projekts besteht im Nachweis einer Beziehung zwischen der Unterrichtsqualität und Sensitivitätsmassen der Testaufgaben. Zur Erfassung der Unterrichtsqualität werden im Rahmen des Projekts Fragebögen eingesetzt und Unterrichtsmaterialien ausgewertet (z.B. von Lehrpersonen verwendete Mathematikaufgaben). So kann sichergestellt werden, dass ein Lernzuwachs von Schüler/innen auch tatsächlich auf den Unterricht – und nicht auf andere Faktoren (z.B. ausserschulische Lerngelegenheiten) – zurückzuführen ist. Ein letztes Ziel des Projekts besteht in der Weiterentwicklung von Verfahren zur Einschätzung der Instruktionssensitivität von Testaufgaben durch Expert/innen (Aufgabenentwickler/innen, Fachdidaktiker/innen, Lehrpersonen). Wenn es gelingt ein Verfahren zu entwickeln, mit dem die Instruktionssensitivität von Expert/innen zuverlässig eingeschätzt werden kann, wäre dies ein deutlich ökonomischeres Verfahren als die bisherigen Methoden, welche auf grossen Datenerhebungen beruhen.

 

Weitere Informationen zur Instruktionssensitivität und dem COINS-Projekt

Stephanie Musow, 30.4.2021

PHSG
Institut Kompetenzdiagnostik
Stephanie Musow

COINS-Projekt