Themenbereich 15: Item- und Skalenanalyse
Zum Einstieg
1. Video-Tutorials
Im folgenden kurzen Video (5:36 Min.) berichtet Dr. Dawn Zimmaro vom Department of Educational Psychology der University of Texas, Austin (USA) darüber, welche Informationen aus einer Itemanalyse gewonnen werden können und führt somit in das Anwendungsfeld und erste Grundlagen der Item- und Skalenanalyse ein.
Bitte bestätigen Sie die Aktivierung dieses Videos
Nach der Aktivierung werden Cookies gesetzt und Daten an YouTube (Google) übermittelt.
Zur Datenschutzerklärung von Google
Im kurzen Video "Numbers Everywhere: An Introduction to Item Analysis" (4:51 Min.) geht Aaron Dewald, stellvertretender Direktor am "Center for Innovation in Legal Education" der University of Utah (USA), den 3 zentralen Fragen nach, 1.) was eine Itemanalyse ist, 2.) wozu diese benötigt bzw. verwendet wird und 3.) welcher Maßzahlen sich eine Itemanalyse i.d.R. bedient. Das Video bietet somit einen guten Einstieg in das Thema.
Bitte bestätigen Sie die Aktivierung dieses Videos
Nach der Aktivierung werden Cookies gesetzt und Daten an YouTube (Google) übermittelt.
Zur Datenschutzerklärung von Google
In einem weiteren kurzen Video (5:56 Min.) erklärt Aaron Dewald, stellvertretender Direktor am "Center for Innovation in Legal Education" der University of Utah (USA), das Konzept der Itemschwierigkeit als einem zentralen Parameter im Rahmen der Itemanalyse. Dabei geht er auf die Definition bzw. Berechnung der Itemschwierigkeit ein, erläutert die Bedeutung/Interpretation des Wertebereiches möglicher Itemschwierigkeiten und veranschaulicht dies abschließend an einem Beispiel.
Bitte bestätigen Sie die Aktivierung dieses Videos
Nach der Aktivierung werden Cookies gesetzt und Daten an YouTube (Google) übermittelt.
Zur Datenschutzerklärung von Google
2. Online-Lernangebote und -ressourcen
Auf folgenden Internetseiten finden Sie einführende Online-Lernangebote zum Thema "Item- und Skalenanalyse":
- In seinem Beitrag zum Blog "Fips - Forschen im Praxissemester", einer fachübergreifenden Artikelsammlung der Fachwissenschaften und Fachdidaktiken der Unterrichtsfächer sowie der Bildungswissenschaft der Universität Paderborn, erläutert Jun.-Prof. Dr. Robert Kordts-Freudinger wie man aus erhobenen (Fragebogen-/Test-)Daten einzelne Skalen ableiten bzw. erzeugen kann und führt somit in die "basics" der Item- und Skalenanalyse ein.
- ViLeS (Virtuelle Lernräume im Studium) - Statistische Methodenlehre der Universität Oldenburg: Im Modul "Itemanalyse" werden sowohl die wichtigsten Konzepte und Definitionen zur Item- und Skalenanalyse dargeboten als auch deren Anwendung (und Umsetzung mittels SPSS, s.u.) an einem konkreten Beispiel veranschaulicht.
- Das Skript zur Lehrveranstaltung "Testtheorie und Testkonstruktion" von Johannes Hartig und Nina Jude (siehe auch www.testkonstruktion.de) fasst die Grundlagen der Itemanalyse auf ca. 20 Folien zusammen und erklärt dabei die zentralen Itemkennwerte der Itemschwierigkeit, -varianz und -trennschärfe sowie deren Berechnung und Anwendung.
- In seinem kurzen Skript "Itemanalyse ohne SPSS - alles auf einen Streich" (2006) beschreibt Dr. Helmut Stauche (Friedrich-Schiller-Universität Jena) neben den Grundlagen der Itemanalyse ein von ihm mit VBA für Excel geschriebenes Programm, das die Berechnung der Itemparameter Schwierigkeit und Trennschärfe, sowie der internen Konsistenz einer Gesamtskala bzw. einzelner Subskalen nach dem Modell Alpha (Cronbach bzw. Kuder-Richardson 20) ermöglicht.
(Hinweis: eine neuere Version des Programms ist geplant! Die Version aus 2006 kann bis dahin bei Bedarf über Jan Henning-Kahmann, PH Freiburg, bezogen werden.)
3. Fachliteratur (Lehrbücher & Artikel)
Mit Hilfe der folgenden Fachliteratur kann man sich in die Grundlagen zum Thema "Item- und Skalenanalyse" einarbeiten:
- Bühner, M. (2021). Einführung in die Test- und Fragebogenkonstruktion (4. Aufl.). München: Pearson. (Kap. 4)
- Döring, N. & Bortz, J. (2016). Forschungsmethoden und Evaluation in den Human- und Sozialwissenschaften. (5. Aufl.). Berlin: Springer. (Kap. 10.4., S. 475-482, verfügbar per Campuslizenz)
- Moosbrugger, H. & Kelava, A. (2020). Testtheorie und Fragebogenkonstruktion (3. Aufl.). Berlin: Springer. (Kap. 7, verfügbar per Campuslizenz)
- Pospeschill, M. (2010). Testtheorie, Testkonstruktion, Testevaluation. München: UTB. (Kap. 3)
4. Anwendung in Datenanalysesoftware
Die beiden kurzen Skripte "Reliabilitätsanalyse mit SPSS" bzw. "Skalenanalyse mit SPSS" zur Lehrveranstaltung "Testtheorie und Testkonstruktion" von Johannes Hartig und Nina Jude (siehe auch www.testkonstruktion.de) fassen zusammen, wie sich Skalen mit Hilfe von SPSS analysieren lassen und wie die erhaltenen Ergebnisse der SPSS-Ausgabe zu interpretieren sind. Dabei werden neben Skalenstatistiken auch solche erklärt, die zur Beurteilung der einzelnen Items von Bedeutung sind (z.B. Itemschwierigkeit, -trennschärfe, -varianz).
ViLeS (Virtuelle Lernräume im Studium) - Statistische Methodenlehre der Universität Oldenburg: In den Aufgaben zum Modul "Itemanalyse" wird an einem konkreten Beispiel demonstriert, wie man eine Item- und Skalenanalyse mit SPSS durchführt und dabei auch jene Itemparameter (z.B. Itemschwierigkeit) berechnen kann, die nicht über eine eigene Programmfunktion direkt ausgegeben werden.
Das folgende Video (11:11 Min.) von Prof. Dr. Todd L. Grande (Wilmington University, USA) zeigt, wie sich im Rahmen der Skalenanalyse für mehrere z.B. Likert-skalierte Items Cronbach`s alpha als ein Maß der Inter-Item-Reliabilität in SPSS berechnen lässt und wie die erhaltenen Ergebnisse zur Verbesserung einer Skala genutzt werden können.
Bitte bestätigen Sie die Aktivierung dieses Videos
Nach der Aktivierung werden Cookies gesetzt und Daten an YouTube (Google) übermittelt.
Zur Datenschutzerklärung von Google
In einem weiteren kurzen Video (7:25 Min.) erklärt Prof. Dr. Todd L. Grande (Wilmington University, USA) zudem, wie man für einen Test mit dichotomen Items mittels SPSS Kuder-Richardson`s alpha (KR-20) zur Bestimmung der internen Konsistenz berechnen kann.
Bitte bestätigen Sie die Aktivierung dieses Videos
Nach der Aktivierung werden Cookies gesetzt und Daten an YouTube (Google) übermittelt.
Zur Datenschutzerklärung von Google
Zur Vertiefung
1. Video-Tutorials
In einer Videoaufzeichnung (80 Min.) der Sitzung 3 befasst sich Dr. Tobias C. Haupt (LMU München) im Rahmen seiner Lehrveranstaltung "Psychologische Testtheorien" (SS 2007) in insgesamt 7 Kapiteln sehr ausführlich mit dem Prozess der Itemanalyse sowie zentralen Itemkennwerten (z.B. Schwierigkeit und Trennschärfe) und deren Zusammenhang untereinander.
In einer Videoaufzeichnung eines Vortrags (64:22 Min.) von Prof. Dr. Lesa Hoffman (University of Kansas, USA) im Rahmen Ihrer Lehrveranstaltung "Latent Trait Measurement and Structural Equation Models" wird die klassische Testheorie (CTT) und die Reliabilitätsanalyse sehr ausführlich behandelt. Dabei werden zunächst die Konzepte der Validität und Reliabilität im Lichte der CTT betrachtet. Anschließend werden verschiedene Wege der Reliabilitätbestimmung aufgezeigt und im Detail erläutert, bevor im letzten Teil auch zentrale Itemmerkmale wie Schwierigkeit und Trennschärfe behandelt werden.
Das folgende Video (46:33 Min.) enthält einen Vortrag von Nick Shryane (School of Social Sciences, University of Manchester, UK) zur "Item Response Theory (IRT)", die alternativ zur klassischen Testtheorie (s.o.) ebenfalls die Durchführung von Item- und Skalenanalysen ermöglicht. Im Vortrag werden die grundlegenden Konzepte und Modelle (1pl/2pl) der IRT eingeführt und anhand von Beispielen erläutert.
Bitte bestätigen Sie die Aktivierung dieses Videos
Nach der Aktivierung werden Cookies gesetzt und Daten an YouTube (Google) übermittelt.
Zur Datenschutzerklärung von Google
2. Online-Lernangebote und -ressourcen
Auf folgenden Internetseiten finden Sie weiterführende Online-Lernangebote bzw. -ressourcen zum Thema "Item- und Skalenanalyse":
- Im ca. 40 Folien umfassenden Vorlesungsskript "Itemanalyse / Skalenanalyse / Faktoranalyse" (2012) von Prof. Dr. Jürg Schwarz (Hochschule Luzern & Universität Zürich) werden sowohl die theoretischen Grundlagen als auch die praktische Anwendung dieser drei Analyseverfahren ausführlich erläutert. Das Skript bietet somit nicht nur die Gelegenheit, sich vertieft mit den Konzepten der Item- und Skalenanalyse zu befassen, sondern diese auch mit der Faktorenanalyse (s. Themenbereich 14) zu verknüpfen.
- Die beiden Handouts [1] "Test Items and Item Analysis" und [2] "Introduction to Item Response Theory" (je ca. 20 S.) von Prof. Dr. Andrew Ainsworth, tätig am Department of Psychology der California State University in Northridge (USA), führen zum einen zentrale Konzepte der Itemanlyse detailliert aus (s. [1]) und stellen zum anderen den Vorgehensweisen im Rahmen der klassischen Testtheorie jene der Item Response Theorie gegenüber (s. [2]).
- In ihrer Präsentation "Item Analysis: Classical and beyond" (18 Folien) aus dem Kurs "Introduction to Rasch Measurement" erläutert Prof. Dr. Kelly D. Bradley vom College of Education der University of Kentucky (USA), welche Arten der Itemanalyse (klassisch vs. IRT/Rasch) unterschieden werden können und geht sowohl auf die zugrunde liegenden Testtheorien (CTT vs. Latent Trait) als auch die darauf basierenden Definitionen der zentralen Kennwerte ein.
- Auf der Homepage zum gleichnamigen R-Paket "ShinyItemAnalysis" von Dr. Patricia Martinkova (Institute of Computer Science, Czech Academy of Sciences) & Kollegen werden verschiedene Möglichkeiten zur Test- und Itemanalyse - basierend sowohl auf klassischer (CTT) als auch Item Response Theorie (IRT) - angeboten. Neben der Veranschaulichung mittels Beispieldaten bietet die Webseite dabei auch die Möglichkeit, die entsprechenden Analysen mit eigenen Daten durchzuführen und die erzeugten Grafiken bzw. einen Report herunterzuladen!
3. Fachliteratur (Lehrbücher & Artikel)
Die folgende Fachliteratur kann empfohlen werden, um sich mit weiterführenden Fragen zum Thema "Item- und Skalenanalyse" zu befassen:
- Bond, T.G. & Fox, C.M. (2007). Applying the Rasch Model. Fundamental Measurement in the Human Sciences (2nd Ed.). Mahwah, NJ: Lawrence Erlbaum Associates.
- Eid, M. & Schmidt, K. (2014). Testtheorie und Testkonstruktion. Göttingen: Hogrefe. (Kap. 4 - 7, verfügbar per Campuslizenz)
- Lienert, G. A. & Raatz, U. (1998). Testaufbau und Testanalyse (6. Aufl.). Weinheim: Beltz. (Kap. 6, verfügbar per Campuslizenz)
- Moosbrugger, H. & Kelava, A. (2020). Testtheorie und Fragebogenkonstruktion (3. Aufl.). Berlin: Springer. (Kap. 13 & 16, verfügbar per Campuslizenz)
Themenübersicht:
- Themenbereich 1: Einführende Informationen zu Forschungsmethoden in bildungswissenschaftlichen Studiengängen
- Themenbereich 2: Messen & Skalenniveaus
- Themenbereich 3: Lage- und Streuungsmaße
- Themenbereich 4: Verteilungen und Datentransformation
- Themenbereich 5: Signifikanz
- Themenbereich 6: Effektstärke
- Themenbereich 7: Korrelation
- Themenbereich 8: Korrelation und Kausalität
- Themenbereich 9: Lineare Regression
- Themenbereich 10: Logistische Regression
- Themenbereich 11: Epidemiologische Maße
- Themenbereich 12: t-Test
- Themenbereich 13: Varianzanalyse
- Themenbereich 14: Faktorenanalyse
- Themenbereich 15: Item- und Skalenanalyse
- Themenbereich 16: Test- und Fragebogenkonstruktion
- Themenbereich 17: Testgütekriterien
- Themenbereich 18: Studientypen
- Themenbereich 19: Einführungen in Statistiksoftware
- Themenbereich 20: Grundlagen qualitativer Forschungsmethoden
- Themenbereich 21: Qualitative Samplingverfahren
- Themenbereich 22: Qualitatives Interview
- Themenbereich 23: Qualitative Beobachtung
- Themenbereich 24: Gruppendiskussionsverfahren
- Themenbereich 25: Transkription
- Themenbereich 26: Qualitative Inhaltsanalyse
- Themenbereich 27: Grounded Theory
- Themenbereich 28: Dokumentarische Methode
- Themenbereich 29: Narrative Interviews und Narrationsanalyse
- Themenbereich 30: Computergestützte Analyse qualitativer Daten mit MAXQDA
- Themenbereich 31: Gütemerkmale qualitativer Forschung
- Themenbereich 32: Forschungsethik
- Themenbereich 33: Standards für Publikationen, Abschlussarbeiten, Referate, Hausarbeiten