Systematische Evaluation von Fragen anhand eines Fragebewertungssystems
Nachdem ein Fragebogen erstellt wurde, geht es für den Umfrageautor im nächsten Schritt darum, den Fragebogen auf Fehler und Unklarheiten zu testen. Somit wird die Qualität der Fragen sowie letztlich die der gewonnenen Ergebnisdaten sichergestellt.
Dazu haben Faulbaum, Prüfer und Rexroth (2009) ein Bewertungssystem zur Qualitätsüberprüfung einzelner Fragen entwickelt. Das Fragebewertungssystem (FBS) ermöglicht dem Umfrageautor eine kritische Auseinandersetzung über Form und Inhalt jeder einzelnen Frage eines Fragebogens. Demnach handelt es sich primär um ein Evaluationsinstrument, das Verbesserungsbedarf bei einzelnen Fragen identifiziert, aber auch aufgrund einer detaillierten Problembeschreibung Ansätze zur Problembeseitigung liefert.
Das FBS von Faulbaum, Prüfer und Rexroth (2009) besteht aus einer Art Checkliste, in der Probleme bzw. Fehler, z.B. im Hinblick auf das Verstehen des Fragetextes und seiner Teile oder die im Fragetext beschriebenen Aufgaben, in Oberkategorien zusammen gefasst sind. Die Checkliste gibt dem Umfrageautor ein Instrument an die Hand, jede einzelne Frage des Fragebogens dahingehend zu prüfen, welche der dort aufgeführten Probleme auf die Frage zutreffen.
Zwar wurde im Zuge der Entwicklung des FBS dem aktuellen Stand der Forschung im Bereich der Fragebogenkonstruktion und –evaluation Rechnung getragen, um möglichst alle Problemtypen mit zu berücksichtigen, jedoch erhebt das FBS keinen Anspruch auf Vollständigkeit. Somit kann die Anwendung des FBS die Durchführung eines Pretests zur Überprüfung der Fragequalität – insbesondere des Frageverständnisses – nicht ersetzen.
Im Folgenden werden die einzelnen Oberkategorien des FSB dargestellt. Danach erfolgt jede Woche im Unipark Blog eine konkrete Beschreibung einer Oberkategorie mit Beispielen zur Veranschaulichung.
Die FBS-Checkliste im Überblick:
I. Probleme mit Worten/ Texten
II. Unzutreffende Annahmen über Befragte
III. Erinnerungsvermögen
IV. Berechnung/ Schätzung
V. Komplexität der mentalen Leistung
VI. Nicht intendierte Nebeneffekte
VII. „Weiß-nicht“-Kategorie bei Einstellungsfragen
VIII. Kontext der Frage/ Fragensukzession
IX. Antwortvorgaben/ Antwortskalen
X. Offene Fragen
XI. Probleme im Zusammenhang mit der Aufgabenbeschreibung in selbst-administrierten Fragen
Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.
