Gütekriterien

GÜTEKRITERIEN BEI QUALITATIVEN FORSCHUNGSMETHODEN

Gütekriterien bei qualitativen ForschungsmethodenQualitative Verfahren sehen sich häufig mit dem Vorwurf konfrontiert, Interpretationen und Ergebnisse lediglich durch das Darstellen von Textstellen, welche von den Forschenden für wichtig oder typisch erachtet werden, zu begründen und nicht interpretierte Fälle und Textpassagen ohne plausible Begründung auszuklammern. Flick bezeichnet dieses Vorgehen als „selektive Plausibilisierung“ (Flick, 2002, S. 318). Obwohl die Anzahl qualitativer Forschungsprojekte in den letzten Jahrzehnten stark angewachsen ist, fehlt noch ein allgemeiner Konsens, nach welchen Gütekriterien die Qualität von Prozessen und Ergebnissen dieser Forschung zu bewerten ist, wie weit sich die Ergebnisse verallgemeinern lassen und wie sie angemessen dargestellt werden können[1]. Ebenso ungeklärt bleibt die Frage, ob hierfür die „klassischen“ Gütekriterien der quantitativen Forschung (Objektivität, Reliabilität und Validität) verwenden werden sollten, oder ob die Vielfalt und Eigenheit qualitativer Forschungsmethoden neue, eigene Bewertungskriterien benötigt. Steinke (1999) unterscheidet drei Grundpositionen zur Bewertung qualitativer Forschung, die im folgenden charakterisiert werden:

1. Die Anwendung quantitativer Kriterien auf qualitative Forschung
2. Die Suche nach eigenen Gütekriterien
3. Die postmoderne Ablehnung von Beurteilungskriterien.

BEWERTUNG VON GÜTE IN ANLEHNUNG AN KRITERIEN AUSSERHALB DER QUALITATIVEN FORSCHUN

Qualitative Forschung kann mit Hilfe der „klassischen“ Gütekriterien aus der quantitativen Sozialforschung bewertet werden, um eine Einheitlichkeit der Beurteilungskriterien für alle Forschungsrichtungen zu erreichen. Die drei zentralen Gütekriterien der quantitativen, hypothesenprüfenden Sozialforschung und der psychometrischen Diagnostik sind Objektivität, Reliabilität und Validität. Kritik an diesen Konzepten kann jeweils unter epistemologischen Aspekten, als Kritik an den einzelnen Verfahren zur Sicherung der Gütekriterien und unter dem Aspekt der Kritik an der klassischen Testtheorie geübt werden (vgl. Amelang und Zielinski, 2002). Im Folgenden werden die einzelnen Kriterien jedoch nur kurz dargestellt und es wird auf Probleme und prinzipielle Unvereinbarkeiten sowie auf verwendbare Aspekte bei der Übertragung auf qualitative Forschungsmethoden hingewiesen.

OBJEKTIVITÄT

Objektivität ist hier nicht im ontologischen Sinn, also als Möglichkeit der Erkenntnis einer vom Subjekt unabhängig existierenden Realität gemeint. Vielmehr wird eine aperspektivische Objektivität gefordert, also die Elimination individueller Einflüsse der einzelnen Forscher. Die Erkenntnis soll unabhängig von subjektiven Einflüssen des Erkennenden und intersubjektiv nachprüfbar sein. Es wird zwischen Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität unterschieden. In der quantitativen Sozialforschung und psychometrischen Testung lässt sich Objektivität relativ leicht durch Standardisierung der Untersuchungs- und Auswertungssituation erreichen (genaue schriftliche Instruktionen, Fragebögen mit vorgegebenen Antwortmöglichkeiten etc.).

Bei der Übertragung auf qualitative Vorgehensweisen ergeben sich mehrere Komplikationen und Unvereinbarkeiten. Zum einen ist bei qualitativer Forschung eine Trennung zwischen Subjekt und Objekt der Erkenntnis weder vollständig erreichbar noch wünschenswert. In der Erhebungssituation soll vielmehr eine Beziehung zwischen Forschendem und Beforschtem entstehen und bewusst in den Forschungsprozess einbezogen werden. In diese Beziehung gehen die subjektive Vorerfahrung beider mit ein. Zum anderen bedürfen standardisierte Verfahren einer starken Vorstrukturierung von Untersuchungsgegenständen (nur so ist eine Operationalisierung der zu untersuchenden Variablen möglich). Diese widerspricht jedoch den Prinzipien der Offenheit und der Gegenstandsentfaltung qualitativer Forschung. Und schließlich ist es aus konstruktivistischer Sicht unmöglich, die Subjektivität des Forschenden völlig auszublenden, da Erkenntnis immer als subjektgebunden, an die Eigenschaften des Beobachters und seine Fähigkeit zu erkennen und zu beschreiben gebunden angesehen wird.

Aspekte des Konzepts der aperspektivischen Objektivität fließen in die Formulierung der qualitativen Gütekriterien „intersubjektive Nachvollziehbarkeit“ und „reflektierte Subjektivität“ (à Kriterien speziell für qualitative Forschung) ein (Steinke, 1999, S. 131 ff.).

RELIABILITÄT

Die Reliabilität (Zuverlässigkeit) bezeichnet die formale Genauigkeit wissenschaftlicher Untersuchungen (Wirtz & Caspar, 2002). Reliable wissenschaftliche Ergebnisse sind frei von Zufallsfehlern, das heißt bei Wiederholung eines Experimentes unter gleichen Rahmenbedingungen würde das gleiche Messergebnis erzielt. Reliabilität ist also die Replizierbarkeit der Ergebnisse unter gleichen Bedingungen. Es wird zwischen Retest-Reliabilität, Paralleltest-Reliabilität und Splithalf-Reliabilität beziehungsweise interner Konsistenz unterschieden (Amelang und Zielinski, 2002, S. 152 pp.).

Die Retest-Reliabilität wird durch die wiederholte Durchführung eines Tests und die Anschließende Korrelation der Ergebnisse ermittelt (Amelang und Zielinski, 2002, S. 152). Zentral ist hier die Annahme der Stabilität des untersuchten Phänomens. Diese kann jedoch in der qualitativen Forschung nicht a priori unterstellt werden, sondern kann höchstens Ergebnis einer eingehenden Untersuchung der Phänomens in vielen verschiedenen Kontexten sein. Dazu kommt, dass die Methode der Testwiederholung sich beispielsweise auf Interviewverfahren prinzipiell nicht anwenden lässt, da Interviews nicht identisch wiederholt werden können. Bei bestimmten rekonstruktiven Verfahren lässt sich jedoch die Interkoder-Übereinstimmung bestimmen. Cohens Kappa (Wirtz & Caspar, 2002), beispielsweise, ist ein statistisches Maß für die Urteileübereinstimmung zweier Beurteiler bei nominalskalierten Daten. Der К-Koeffizient wird aus der Differenz des Anteils der beobachteten Übereinstimmungen und das Anteils zufällig zu erwartender Übereinstimmungen der beiden Rater errechnet.

Bei der Bestimmung der Paralleltest-Reliabilität werden zwei Gruppen von Versuchspersonen jeweils unterschiedliche aber streng vergleichbare Versionen eines Tests vorgelegt. Die Korrelation der Ergebnisse ergibt die Paralleltest-Reliabilität (Amelang und Zielinski, 2002, S. 153). Die interne Konsistenz eines Verfahrens wird durch die Unterteilung des Tests in äquivalente Teile und die Korrelation der Ergebnisse der einzelnen Teile bestimmt (Amelang und Zielinski, 2002, S. 153 pp.). Voraussetzung für diese beiden Methoden der Reliabilitätsbestimmung ist eine umfassende Kenntnis und bereits vorhandene Operationalisierung des Untersuchungsgegenstandes. Dies widerspricht jedoch den Prinzipien der induktivistischen Orientierung, der Zirkularität und Kontextualität des Forschungsprozesses und der Gegenstandsentfaltung sowie der Alltagsnähe qualitativer Forschung.

VALIDITÄT

Unter Validität wird die Gültigkeit einer Forschungsmethode verstanden, also, ob sie wirklich das misst, was sie angibt zu messen. Bei der Konzeption und Beurteilung psychometrischer Tests können die Kriterien der Kriteriumsvalidität (Vergleich der Untersuchungsergebnisse mit einem Außenkriterium), Vorhersagevalidität (zukünftiges Verhalten wird aufgrund der Untersuchungsergebnisse vorhergesagt) und Inhaltsvalidität (Experten beurteilen die Validität eines Verfahrens) verwendet werden, um zu überprüfen, ob durch den Test wirklich das erfasst wird, was erfasst werden soll (Amelang und Zielinski, 2002, S. 160 pp.). Auch die verschiedenen Formen der Validität lassen sich nur bedingt und indirekt auf qualitative Forschung übertragen, da die Komplexität und mangelnde Quantifizierbarkeit qualitativer Fragestellungen das Auffinden valider Außenkriterien und die Formulierung eindeutiger und überprüfbarer Prognosen erschwert (Steinke, 1999, S. 158 ff.). Dennoch wurden einige Verfahren entwickelt, die eine Adaption des Validitätskonzepts auf die Beurteilung qualitativer Forschung beinhalten. Als Beispiele hierfür werden die kommunikative Validierung, die Triangulation und die analytische Induktion vorgestellt.

Bei der kommunikativen Validierung werden untersuchte Personen in den weiteren Forschungsprozess miteinbezogen. Dies kann zum Beispiel durch die Diskussion eines Transkripts mit den beteiligten Personen zu einem späteren Zeitpunkt geschehen. So können diese einerseits ihre Zustimmung dazu geben, dass ihre Aussagen inhaltlich richtig erfasst wurden und andererseits „die Strukturierung der Aussagen im Sinne der gesuchten komplexen Zusammenhänge“ (Flick, 2002, S. 325) selbst vornehmen. Obwohl hierdurch den Beforschten mehr Kompetenz zugebilligt wird, als dies in quantitativen Forschungsdesigns häufig der Fall ist, darf die kommunikative Validierung nicht als ausschließliches Gültigkeitskriterium verwendet werden, da sonst die Analyse nicht über die subjektiven Bedeutungsstrukturen der Untersuchten hinauskäme (Mayring, 1999, S. 121).

Bei der Triangulation werden verschiedene Methoden, Forscher, Untersuchungsgruppen, lokale und zeitliche Settings sowie unterschiedliche theoretische Perspektiven in der Auseinandersetzung mit einem Phänomen kombiniert. Denzin (1978, S. 291 ff.) unterscheidet vier verschiedene Formen der Triangulation.

1. data triangulation: Verschiedene Daten werden unter einer gemeinsamen Fragestellung miteinander in Beziehung gesetzt (beispielsweise gleiche Methode, gleiche Personen unterschiedliche Zeitpunkte oder gleiche Methode, unterschiedliche Orte, unterschiedliche Personen etc.).
2. methodological triangulation: Kombination verschiedener Methoden mit nichtidentischen Schwächen.
3. investigator triangulation: Einbeziehung unterschiedlicher Personen in den Prozess der Datenerhebung und -auswertung Subjektivität zur wechselseitigen Kontrolle der jeweiligen Subjektivität (beispielsweise Forschungswerkstätten oder Interpretationsgruppen).
4. theory triangulation: Verwendung verschiedener Theorien zur Überwindung theoretischer Einseitigkeiten und zur Systematisierung der Erzeugung konkurrierender plausibler Interpretationen[2].

Leider existieren aber keine Standards, wie mit nicht triangulierbaren Befunden umgegangen werden soll und wann solche Befunde im Sinne der eingeschränkten Validität der Ergebnisse gewertet werden müssen.

Bei der analytischen Induktion soll die Brauchbarkeit vorläufiger Theorien durch die intensive Analyse von Ausnahmen und abweichenden Fällen überprüft werden. Sie stellt gewissermaßen das Gegenteil der oben erwähnten selektiven Plausibilisierung dar. Gefundene Abweichungen und Besonderheiten werden besonders ernst genommen und nach Möglichkeit in die Theorie integriert (Flick, 2002, S. 332 f.). Diese Methode entspricht sehr gut den Prinzipien der Offenheit und Zirkularität qualitativer Forschung.

KRITERIEN SPEZIELL FÜR QUALITATIVE FORSCHUNG

Wird die Übertragung und Anpassung der klassischen Gütekriterien auf qualitative Forschung als ungeeignet und unbefriedigend empfunden, liegt es nahe, eigene Gütekriterien, speziell für die qualitative Forschung zu konzipieren.  Es ist schwierig und teilweise unsinnig, allgemeine Gütekriterien für alle qualitativen Methoden zu formulieren, da diese sich häufig sowohl in der Vorgehensweise, als auch im Erkenntnisziel und der Generalisierungsabsicht stark unterscheiden. Für einige Verfahren wurden spezielle Gütekriterien formuliert (beispielsweise Mayring, 2003, S. 109 pp., für die qualitative Inhaltsanalyse oder Corbin und Strauss, 1990, für die grounded theory).

Bei manchen Autoren kommt es zu einer Konfundierung von Gütekriterien und Methoden zu ihrer Gewährleistung oder Überprüfung (kommunikative Validierung und Triangulation, beispielsweise, werden häufig als Gütekriterien qualitativer Forschung genannt). Die Tatsache allein, dass solche Verfahren angewendet wurden, sagt jedoch noch nichts über die tatsächliche Validität der Ergebnisse einer empirischen Untersuchung aus.

Im Folgenden werden einige allgemein formulierte Gütekriterien für qualitative Forschungsansätze vorgestellt. Vergleichbare oder sich teilweise überschneidende Konzepte verschiedener Autoren werden zusammengefasst dargestellt.

INTERSUBJEKTIVE NACHVOLLZIEHBARKEIT

Durch die intersubjektive Nachvollziehbarkeit soll „eine (kritische) Verständigung über eine empirische Studie zwischen Forschern beziehungsweise zwischen Forschern und Lesern“ (Steinke 1999, S. 207) ermöglicht werden. Es wird vorgeschlagen, diese auf drei Wegen herzustellen:

1. Dokumentation des Forschungsprozesses:

a. Das Vorverständnis der Forscher,

b. die Erhebungsmethoden und der Erhebungskontext,

c. die Trankskriptionsregeln,

d. die Daten,

e. die Auswertungsmethoden,

f. die Informationsquellen

g. die Entscheidungen und Probleme

h. die Kriterien, denen die Arbeit genügen soll,

i. und die selbstreflexive Analyse des Forschers im Forschungsprozess müssen ausreichend beschrieben und dokumentiert werden (vergleiche auch Mayring, 1999, S. 119, Kriterium der Verfahrensdokumentation).

2. Interpretation in Gruppen als „diskursive Form der Herstellung von Intersubjektivität und Nachvollziehbarkeit durch expliziten Umgang mit Daten und deren Interpretationen“ (Steinke 1999, S. 214).

3. Anwendung beziehungsweise Entwicklung kodifizierter Verfahren.

INDIKATION DES FORSCHUNGSPROZESSES

Hier soll überprüft werden, ob qualitatives Vorgehen insgesamt und die Erhebungs- und Auswertungsmethoden im Speziellen angesichts der Fragestellung angemessen sind. Das Kriterium der Indikation umfasst nach Steinke (1999) folgende Aspekte:

1. Indikation der Methodenwahl

a. Wurde den Äußerungen und Bedeutungen der Untersuchten ausreichend Spielraum eingeräumt?

b. War der Forscher längere Zeit im Feld anwesend?

c. Besteht ein Arbeitsbündnis zwischen Forscher und Informant?

d. Wurden Methoden gegenstandsangemessen ausgewählt oder entwickelt?

e. Ermöglichen die verwendeten Verfahren eine (angestrebte) Irritation des Vorwissens?

2. Indikation der Transkriptionsregeln

3. Indikation der Samplingstrategie

4. Indikation methodischer Einzelentscheidungen

5. Indikation von Bewertungskriterien (Steinke, 1999, S. 215 pp.).

Mayring (1999, S. 120) bezeichnet dieses Kriterium als „Nähe zum Gegenstand“.

EMPIRISCHE VERANKERUNG

Bei diesem Kriterium geht es um den Zusammenhang zwischen Theorie und Empirie. In der qualitativen Forschung werden empirische Daten sowohl zur Generierung, als auch zur Überprüfung von Theorien genutzt (vgl. Breuer und Reichertz, 2001). Um die empirische Verankerung bei der Theoriebildung zu gewährleisten, sollen bereits bestehende, kodifizierte Verfahren, wie beispielsweise die Regelsysteme der grounded theory (Glaser und Strauss, 1967) oder der Objektiven Hermeneutik (Oevermann, 2000), zur Datenanalyse verwendet werden. Für die Theorieprüfung soll empirische Verankerung gewährleistet werden, indem man überprüft, ob es genug Textbelege für die zuvor generierte Theorie gibt, und wie während des analytsichen Prozesses mit Abweichungen, Widersprüchen und Ausnahmen umgegangen wurde. Hierfür kann beispielsweise das Verfahren der analytischen Induktion eingesetzt werden (Steinke, 1999, S. 221 pp.).

LIMITATION

Dieses Kriterium fordert die Bestimmung des Geltungsbereichs und der Grenzen der Verallgemeinerbarkeit einer entwickelten Theorie. Es soll analysiert werden, für welche spezifischen Untersuchungsbedingungen die Ergebnisse zutreffend sind und auf welche weiteren Bereiche generalisiert werden kann. Verallgemeinerungen sollen so weit wie möglich vorgenommen werden. Zugleich ist es notwendig, die Grenzen einer Theorie aufzuzeigen. Als Methoden, um den Geltungsbereich und die Limitation einer Theorie zu bestimmen, können beispielsweise die Analyse maximal und minimal verschiedener Fälle (Fallkontrastierung) und die Suche nach abweichenden, negativen, extremen Fällen eingesetzt werden (Steinke, 1999, S.227 pp.).

REFLEKTIERTE SUBJEKTIVITÄT

In der qualitativen Forschung wird der Forscher als Bestandteil des Forschungsprozesses angesehen und die Subjektivität des Forschers ist Teil der Methode. Mit dem Kriterium der reflektierten Subjektivität wird beurteilt, inwieweit die Subjektivität des Forschers und deren Rolle bei der Theoriebildung reflektiert wurden. Zur Gewährleistung dieses Kriterium sollen nach Steinke (1999) folgende Aspekte überprüft werden:

1. wird der Forschungsprozess durch Selbstbeobachtung begleitet?

2. werden persönliche Voraussetzungen für die Erforschung des Untersuchungsgegenstandes reflektiert

a. Ist das methodische Vorgehen der Person des Forschers angemessen?

b. Werden die eigenen beruflichen Voraussetzungen reflektiert?

c. Wird die kulturelle Herkunft reflektiert?

d. Wird die biographische Beziehung zum Forschungsthema reflektiert?

3. liegt gleichschwebende Aufmerksamkeit (allen Phänomenen gleich viel Beachtung schenken) vor?

4. findet ein gezielter Wechsel zwischen Annäherung und Distanz zum Untersuchten statt (dient der Reflexion der Beziehung)?

4. besteht eine Vertrauensbeziehung zwischen Forscher und Informant?

5. wird der Einstieg ins Untersuchungsfeld reflektiert? (Steinke, 1999, S. 231 pp.).

KOHÄRENZ

Hier soll überprüft werden, ob eine generierte Theorie in sich schlüssig und widerspruchsfrei ist. Dabei ist es wichtig, Widersprüche und Ungereimtheiten zu reflektieren und nicht einfach zu ignorieren oder gar zu vertuschen (Steinke, 1999, S.239 pp.).

RELEVANZ

Bei diesem Kriterium geht es um die Frage nach dem pragmatischen Nutzen einer untersuchten Fragestellung und der generierten Theorie. Folgende Aspekte sind zu beachten:

1. kann eine Theorie neue Deutungen und Erklärungen für ein bestimmtes Problem liefern?
2. können erzielte Ergebnisse generalisiert werden?
3. ist die Darstellung einer Theorie überschaubar? (Steinke, 1999, S. 241 pp.).

ARGUMENTATIVE INTERPRETATIONSABSICHERUNG

Interpretationen sollen nicht einfach gesetzt, sondern argumentativ begründet werden. Folgende Aspekte sind zu beachten:

1. das Vorverständnis beim Vornehmen einer Interpretation muss adäquat sein
2. die Interpretation muss in sich schlüssig sein
3. es muss aktiv nach Alternativdeutungen gesucht werden (Mayring, 1999, S. 119).

REGELGELEITETHEIT

Aus der Offenheit gegenüber dem Untersuchungsgegenstand und der Bereitschaft, vorgeplante Analyseschritte gegebenenfalls zu modifizieren, darf nicht ein völlig unsystematisches Vorgehen resultieren. Qualitative Forschung muss sich an bestimmte Verfahrensregeln halten und die empirischen Datengrundlagen systematisch bearbeiten (Mayring, 1999, S. 120).

ZURÜCKWEISUNG VON KRITERIEN

Aus einem postmodernen Verständnis der Vielfalt sozialer Realitäten, der Konstruiertheit von Forschungsprozessen und somit auch -ergebnissen und damit verbunden aus der prinzipiellen Unmöglichkeit, ein festes Referenzsystem für die Bewertung vor allem der Gültigkeit qualitativer Forschungsmethoden anzugeben, ergibt sich eine dritte Position in der Diskussion um Gütekriterien für qualitative Forschung: deren prinzipielle Ablehnung (Steinke, 1999, S. 50 pp.).

Literatur

Breuer, F und Reichertz, J (2001). Wissenschafts-Kriterien: Eine Moderation. Forum Qualitative Sozialforschung, 2 (3).

Campbell, D und Fiske, D (1959). Convergent and Discriminant Validation by the MultitraitMultimethod Matrix. Psychological Bulletin, 56(2) 81-96.

Denzin, NK (1978). The research act. New York: McGraw Hill.

Corbin, J und Strauss, A (1990). Grounded theory research: Procedures, canons and evaluative criteria. Zeitschrift für Soziologie, 19, 418-427.

Flick, U (2000). Triangulation. Eine Einführung. Wiesbaden: Kelle.

Flick, U (2002). Qualitative Sozialforschung. Eine Einführung. Reinbek bei Hamburg : Rowohlt-Taschenbuch-Verlag.

Glaser, B G, und Strauss, A L (1967). The discovery of grounded theory. Chicago: Aldine.

Mayring, P (1999). Einführung in die Qualitative Sozialforschung. Weinheim: Beltz.

Mayring, P (2003). Qualitative Inhaltsanalyse. Grundlagen und Techniken. Weinheim: Beltz.

Oevermann,  U (2000). Die Methode der Fallrekonstruktion in der Grundlagenforschung  sowie der klinischen und pädagogischen Praxis. In Kraimer, K (Hrsg.) Die   Fallrekonstruktion. Sinnverstehen in  der sozialwissenschaftlichen Forschung. Frankfurt am Main: Suhrkamp.

Steinke, I (1999). Kriterien qualitativer Forschung: Ansätze zur Bewertung qualitativ-empirischer Sozialforschung. Weinheim: Juventa.

Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Göttingen: Hogrefe.

[1] Einen erweiterten Überblick über verschiedene Ebenen der Diskussion um Gütekriterien wissenschaftlicher Forschungsarbeiten geben Breuer und Reichertz (2001).

[2] Die Methode der Triangulation ist eng verbunden mit dem Multitrait-Multimethod-Ansatz zur Beurteilung der Konstruktvalidität nach Campbell und Fiske (1959). Eine Ausführliche Darstellung und Erweiterung des Triangulationskonzepts findet sich bei Flick (2000).

Artikel verfasst von Markus Wirtz und Marco Petrucci (2007)

Zitation:

Wirtz, Markus/Petrucci, Marco (2007). Gütekriterien. QUASUS. Qualitatives Methodenportal zur Qualitativen Sozial-, Unterrichts- und Schulforschung. URL https://www.ph-freiburg.de/quasus/was-muss-ich-wissen/was-ist-qualitative-sozialforschung/guetekriterien.html