Themenbereich 16: Test- und Fragebogenkonstruktion

Zum Einstieg

1. Video-Tutorials

Ein kurzes Video (5:22 Min.) vom Statistics Learning Centre, gegründet und betrieben von Dr. Nicola Petty und Dr. Shane Dye (University of Canterbury, Neuseeland), bietet einen leichten Einstieg in einige grundlegende Fragen der Konstruktion von Fragebögen. Die einzelnen Schritte im Prozess der Fragebogenkonstruktion bzw. dabei zu beachtende Prinzipien werden jeweils anhand eines fiktiven Beispiels erläutert.
 

 

Im folgenden Video (12:15 Min.) befasst sich Dr. John Schulz von der Southampton Education School, University of Southampton (UK), nach einer kurzen Erläuterung verschiedener Arten und Formen von Fragebögen v.a. mit den einzelnen Stufen einer Fragebogenkonstruktion und geht dabei auf 1.) die zu erhebenden Informationen, 2.) die Art der erhobenen Daten, 3.) verschiedene Antwortformate und schließlich 4.) das Design und Layout eines guten Fragebogens ein.
 
 

 

Das kurze Video "Test Development" (6:29 Min.) des British Council zeigt zunächst auf, welche Teilschritte durchlaufen und beachtet werden müssen, um standardisierte Prüfungs- bzw. Testverfahren zu konstruieren, die hohen Qualitätsansprüchen (siehe auch "Testgütekriterien") genügen. Anschließend wird zudem verdeutlicht, inwiefern sich diese Schritte auch auf die Entwicklung von Tests anwenden lassen, die Lehrer*innen für den Einsatz im Schulunterricht benötigen.
 
 

Nach oben

2. Online-Lernangebote und -ressourcen

Auf folgenden Internetseiten finden Sie einführende Online-Lernangebote zum Thema "Test- und Fragebogenkonstruktion":

• In zwei Beiträgen zum Blog "Fips - Forschen im Praxissemester", einer fachübergreifenden Artikelsammlung der Fachwissenschaften und Fachdidaktiken der Unterrichtsfächer sowie der Bildungswissenschaft der Universität Paderborn, geben Dr. Carla Bohndick (Methodenzentrum der Universität Koblenz-Landau) bzw. Prof. Dr. Katrin Klingsieck (Fach Psychologie, Universität Paderborn) neben kurzen Definitionen v.a. einen ersten Einblick in die wichtigsten Aspekte bei der Konstruktion von: Fragebögen bzw. Testverfahren.

• Die Teilschritte einer fundierten, psychometrisch begründeten Testkonstruktionkönnen auch dem gleichnamigen Beitrag im "Dorsch - Lexikon für Psychologie" (verfügbar per Campuslizenz) entnommen werden.

• In einem Begleittext (12 S.) zu seinem Buch "Psychologische Methodenlehre/Statistik" (2008) gibt Dr. Rainer Leonhart (Institut für Psychologie, Universität Freiburg) eine Einführung in die Testkonstruktion. Dabei werden neben den Einsatzfeldern von Tests und den Grundlagen der klassischen sowie probabilistischen Testkonstruktion auch die einzelnen Stufen der Testentwicklung und die Haupt- bzw. Nebengütekriterien eines entwickelten Testverfahrens erläutert. Übungsfragen (inkl. Lösungen) ermöglichen zudem ein gezieltes Wiederholen der Inhalte.

• In seiner Präsentation (61 Folien) an der Wirtschafts- und Sozialwissenschaftlichen Fakultät der Universität zu Köln (27.05.2008) erläutert Rolf Porst, der mehr als 25 Jahre lang wissenschaftlicher Mitarbeiter bei GESIS (ZUMA) war, im Rahmen der Vorlesung "Praxis der Umfrageforschung" von Prof. Dr. H.J. Andreß und Dr. K. Golsch die Grundlagen der Fragebogenentwicklung. Dabei geht er auf verschiedene Arten von Fragen und Skalen sowie das Question Wording, d.h. die Formulierung von Fragebogenfragen, genauer ein.

  
   
   
   
   
   

Nach oben

3. Fachliteratur (Lehrbücher & Artikel)

Mit Hilfe der folgenden Fachliteratur kann man sich in die Grundlagen zum Thema "Test- und Fragebogenkonstruktion" einarbeiten:

• Bühner, M. (2021). Einführung in die Test- und Fragebogenkonstruktion (4. Aufl.). München: Pearson. (Kap. 3)

• Moosbrugger, H. & Kelava, A. (2020). Testtheorie und Fragebogenkonstruktion (3. Aufl.). Berlin: Springer. (Kap. 3 - 5, verfügbar per Campuslizenz)

• Pospeschill, M. (2010). Testtheorie, Testkonstruktion, Testevaluation. München: UTB. (Kap. 2)

Nach oben

4. Anwendung in Datenanalysesoftware

Einen guten Überblick zu den gängigen Verfahren, die sich im Rahmen der Testkonstruktion mit Hilfe von SPSS durchführen lassen, liefert folgende Literatur:

• Bühner, M. (2021). Einführung in die Test- und Fragebogenkonstruktion (4. Aufl.). München: Pearson. (Kap. 6.6)

• Leonhart, R. (2010). Datenanalyse mit SPSS. Göttingen: Hogrefe. (Kap. 8.1, verfügbar per Campuslizenz)

Für weitere Hinweise zur Anwendung in Datenanalysesoftware siehe auch: Themenbereich 15 "Item- und Skalenanalyse"

Nach oben

Zur Vertiefung

1. Video-Tutorials

In einer Videoaufzeichnung (91:50 Min.) der Sitzung 7 befasst sich Dr. Tobias C. Haupt (LMU München) im Rahmen seiner Lehrveranstaltung "Psychologische Testtheorien" (SS 2007) in insgesamt 4 Kapiteln sehr ausführlich mit verschiedenen Testkonstruktionsansätzen (nach klassischer Testtheorie) und stellt diese vergleichend gegenüber.
 
 

In ihrer Wiedergabeliste "Survey Design Essentials" behandeln Prof. Jason Husser und Prof. Kenneth Fernandez (Political Science and Policy Studies, Elon University, North Carolina, USA) in insgesamt 10 Videos einige zentrale Fragen, die im Rahmen der Konstruktion von Fragebögen von Bedeutung sein können, wie z.B. die Wahrscheinlichkeitsstichprobe, der Stichprobenfehler oder die Gewichtung von Fällen. In den Videos 9 & 10 werden Tipps zur Erstellung guter Fragebogenitems gegeben und 10 Schritte zur Durchführung erfolgreicher Erhebungen mit Fragebögen aufgezeigt.
 

 

Im folgenden ausführlichen Video (39:12 Min.) erläutert Dr. Laurie McDowell (Office of Diversity and Inclusion, Kennesaw State University, USA) einen best-practice "Leitfaden" zur Konstruktion von Testitems in Form von Auswahlaufgaben (dichotome oder Mehrfachauswahl). Dabei geht sie auf die einzelnen Schritte im Konstruktionsprozess ein, zeigt verschiedene Itemformate anhand von Beispielen auf, gibt praktische Tipps zur Itemformulierung und erklärt, wie man die Testkonstruktion mit Hilfe einer Itemanalyse evaluieren kann.
 

Nach oben

2. Online-Lernangebote und -ressourcen

Auf folgenden Internetseiten finden Sie weiterführende Online-Lernangebote bzw. -ressourcen zum Thema "Test- und Fragebogenkonstruktion":

• Auf der Webseite PsyToolkit von Prof. Gijsbert Stoet, Leeds Beckett University (UK), werden verschiedene hilfreiche Services (z.B. Videos, Lerneinheiten, Skalenbibliotheken, etc.) zur Entwicklung und Durchführung sowohl von (psychologischen) Experimenten als auch von Fragebögen und Testverfahren kostenlos angeboten. Eine ausführliche Vorstellung bzw. Beschreibung von PsyToolkit kann einem Artikel in Teaching of Psychology, 44 (1), entnommen werden (DOI: 10.1177/0098628316677643).

• In den Teaching Guides des Center for Teaching (CFT) der Vanderbilt University in Nashville (USA) liefert Dr. Cynthia J. Brame in ihrem Beitrag "Writing good multiple choice test questions" eine hilfreiche und gut dargestellte Zusammenfassung der wichtigsten "Regeln" zur Konstruktion guter Multiple-Choice-Aufgaben. Diese kann zudem auch Word-Datei heruntergeladen werden.

• Am Lehrstuhl für Empirische Methoden der erziehungswissenschaftlichen Forschung der Friedrich-Schiller-Universität Jena wurde eine Software ("Youden") zur Konstruktion von Youden-Square-Designs entwickelt. Diese speziell balancierten unvollständigen Block-Designs werden häufig zur Zusammenstellung von Testheften (z.B bei PISA) verwendet. Das Programm kann für nicht kommerzielle Zwecke in Forschung und Lehre kostenfrei über Prof. Dr. Andreas Frey (Pädagogische Psychologie mit Schwerpunkt Beratung, Diagnostik und Evaluation an der Goethe-Universität Frankfurt am Main) bezogen werden.

• Eine hochschulinterne Möglichkeit zur Recherche und Ausleihe bereits entwickelter und überprüfter Testverfahren bietet die Testbibliothek der PH Freiburg, die ein breites Spektrum an Tests wie z.B. Intelligenz- und Leistungsverfahren, Entwicklungsverfahren oder schulbezogene Verfahren umfasst. Neben der Ausleihe im Rahmen von Lehrveranstaltungen, Forschungsprojekten, für Prüfungsvorbereitungen sowie für Abschluss- und Qualifikationsarbeiten listet die Testbibliothek zudem die gängigen Informationsportale wie ZPID, PSYNDEX und Testzentrale zum Zwecke der Testrecherche. Ergänzend sei hier noch auf die Datenbank zur Qualität von Schule (DaQS) des DIPF hingewiesen, die inzwischen in das Forschungsdatenzentrum (FDZ) Bildung integriert wurde.

Nach oben

3. Fachliteratur (Lehrbücher & Artikel)

Die folgende Fachliteratur kann empfohlen werden, um sich mit weiterführenden Fragen zum Thema "Test- und Fragebogenkonstruktion" zu befassen:

• Eid, M. & Schmidt, K. (2014). Testtheorie und Testkonstruktion. Göttingen: Hogrefe. (Kap. 2 & 3, verfügbar per Campuslizenz)

• Lienert, G. A. & Raatz, U. (1998). Testaufbau und Testanalyse (6. Aufl.). Weinheim: Beltz. (Kap. 2 - 4, verfügbar per Campuslizenz)

• Wilson, M. (2005). Constructing measures: An item response modeling approach. Mahwah, NJ: Lawrence Erlbaum.

Nach oben