Unipark-Blog

Nachdem im Blogbeitrag vom 23.08.10 das Fragebewertungssystem von Faulbaum, Prüfer und Rexroth (2009) dargestellt wurde, geht es im Folgenden Beitrag um die erste Kategorie der FBS-Checkliste – Probleme mit Worten und Texten.

Die im Sinne des Umfrageforschers korrekte inhaltliche Deutung einer Frage und Antwort ist für die Messung eines spezifischen Konstrukts unabdingbare Voraussetzung. Wenn der Befragte hingegen eine Frage nicht entsprechend der Intention des Umfrageforschers versteht, misst die Frage etwas anderes als beabsichtigt. Dies gilt es zu vermeiden, so dass der Befragte der Frage eindeutig entnehmen kann, welche Leistung von ihm verlangt wird.

Wenn ein Fragetext Worte oder Formulierungen mit vager bzw. unklarer Bedeutung enthält, kann es passieren, dass eine Frage nicht von allen Befragten in gleicher Weise verstanden wird.
Beispiele hierzu sind:

• Bezeichnungen mit unklarer Referenz
• Worte, die keine genaue Datierung des Zeitpunkts eines Ereignisses ausdrücken
• Worte, die eine Ungenauigkeit der Häufigkeit (immer, häufig, manchmal) , Intensität (stark, groß, ernst, leicht) oder Menge (fast, alles, einige) ausdrücken

Eine Frage, welche inhaltlich verschiede Sachverhalte anspricht, unterbindet eine Antwortdifferenzierung, so dass Befragte dazu gezwungen werden, mehrere Sachverhalte zusammen zu beantworten. Fragen, welche diesen Konstruktionsfehler beinhalten, lassen sich daran erkennen, dass Fragen/ Aussagen mit unterschiedlichen Begriffen/ Inhalten mit Wörtern wie „und“, „sowie“, „oder“, „weil“ verbunden sind.
Ein weiteres Problem besteht darin, dass der inhaltliche Fokus des Einleitungstexts nicht dem der Frage/ Aussage entspricht. Dies kann dazu führen, dass die Frage/ Aussage vom Befragten nicht so verstanden wird, wie sie verstanden werden soll.

Antworten auf hypothetische Fragen sind oftmals wenig valide, da sie sich nicht auf gemachte, reale Erfahrungen beziehen und sie demnach für den Befragten schwieriger zu beantworten sind. Somit sollte diese Art von Fragen nur dann gestellt werden, wenn sie auch tatsächlich erforderlich sind. Bspw. im Hinblick auf Zukunftsvorstellungen, Zukunftsängsten oder Plänen.
Ferner sollten komplexe Fragen bzw. Aussagen vermieden werden, da sie für den Befragten eine größere mentale Belastung mit sich bringen. Demnach sollten vielmehr einfache, wenig umgangssprachliche Formulierungen verwendet werden. In diesem Zusammenhang gilt es ebenfalls zu betonen, dass Fremdwörter oder Fachausdrücke, welche für den Befragten vielleicht unbekannt sind, vermieden werden sollen. Genau so sollte auf Abkürzungen und seltene Symbole verzichtet werden, um sicher zu stellen, dass alle Befragten die Fragen und Antworten ohne Probleme verstehen.

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

Globalpark hat sich entschieden Lab Versionen von kommenden Software-Features frühzeitig ausgewählten Nutzern zur Verfügung zu stellen. Diese experimentellen Features sollen unseren Nutzern die Möglichkeiten bieten ihre Ideen und Vorschläge mit in den Entwicklungsprozess einfließen zu lassen. Die Lab Version bildet dabei immer nur die erste Stufe des Entwicklungsprozesses, so dass der Nutzer mit seinem Feedback entscheidende Weiterentwicklungen der Software mitgestalten kann.

Warum Unipark?
Uniparker gehören zu den experimentierfreudigsten Nutzern und geben uns wertvolle Hinweise unsere Produkte weiterzuentwickeln. Innerhalb der Unipark-Community findet ein reger Austausch über Ideen und Vorschläge zur Weiterentwicklung der Software statt. Vor diesem Hintergrund wollen wir nun im Rahmen von frühzeitig veröffentlichten Lab Versionen diese Ideen und Anregungen aufnehmen und in der Software umsetzten.

Was können Sie von Lab Versionen erwarten?
Mit der frühzeitigen Veröffentlichung neuer Features und Produkte erhoffen wir uns ein gezieltes Feedback der Nutzer. Mit Lab Versionen wollen wir Ideen vorstellen und dem Nutzer das Ausprobieren neuer Software-Features ermöglichen. Lab Versionen sind keine ausgereiften Globalpark-Produkte und stehen dem Nutzer nur für einen begrenzten Zeitraum zur Verfügung. Sie laden zum Ausprobieren und Experimentieren ein.

Wie können Sie die Software weiterentwickeln?
Mit Ihren Kommentaren und Hinweisen können wir die Software gezielt weiterentwickeln und gemeinsam neue Standards setzen. Nutzen Sie daher die Möglichkeit uns Feedback über das neue Feature zukommen zu lassen. In jeder Lab Version besteht die Möglichkeit, uns schnell und einfach Feedback zuzusenden. Helfen Sie uns, innovative Ideen zufördern und allen Nutzern zur Verfügung zu stellen. Ihr Feedback zu Lab Versionen ist ein wichtiger Bestandteil des Entwicklungsprozesses. Für jeden einzelnen Beitrag sind wir Ihnen dankbar.

Die erste Lab Version wird das EFS Reporting betreffen und für alle Uniparker exklusiv ab dem 13.09.2010 für 12 Wochen zur Verfügung stehen.

Weitere Informationen zum EFS Reporting Lab finden Sie hier.

admin Allgemeines Community

Nachdem ein Fragebogen erstellt wurde, geht es für den Umfrageautor im nächsten Schritt darum, den Fragebogen auf Fehler und Unklarheiten zu testen. Somit wird die Qualität der Fragen sowie letztlich die der gewonnenen Ergebnisdaten sichergestellt.

Dazu haben Faulbaum, Prüfer und Rexroth (2009) ein Bewertungssystem zur Qualitätsüberprüfung einzelner Fragen entwickelt. Das Fragebewertungssystem (FBS) ermöglicht dem Umfrageautor eine kritische Auseinandersetzung über Form und Inhalt jeder einzelnen Frage eines Fragebogens. Demnach handelt es sich primär um ein Evaluationsinstrument, das Verbesserungsbedarf bei einzelnen Fragen identifiziert, aber auch aufgrund einer detaillierten Problembeschreibung Ansätze zur Problembeseitigung liefert.

Das FBS von Faulbaum, Prüfer und Rexroth (2009) besteht aus einer Art Checkliste, in der Probleme bzw. Fehler, z.B. im Hinblick auf das Verstehen des Fragetextes und seiner Teile oder die im Fragetext beschriebenen Aufgaben, in Oberkategorien zusammen gefasst sind. Die Checkliste gibt dem Umfrageautor ein Instrument an die Hand, jede einzelne Frage des Fragebogens dahingehend zu prüfen, welche der dort aufgeführten Probleme auf die Frage zutreffen.

Zwar wurde im Zuge der Entwicklung des FBS dem aktuellen Stand der Forschung im Bereich der Fragebogenkonstruktion und –evaluation Rechnung getragen, um möglichst alle Problemtypen mit zu berücksichtigen, jedoch erhebt das FBS keinen Anspruch auf Vollständigkeit. Somit kann die Anwendung des FBS die Durchführung eines Pretests zur Überprüfung der Fragequalität – insbesondere des Frageverständnisses – nicht ersetzen.

Im Folgenden werden die einzelnen Oberkategorien des FSB dargestellt. Danach erfolgt jede Woche im Unipark Blog eine konkrete Beschreibung einer Oberkategorie mit Beispielen zur Veranschaulichung.
Die FBS-Checkliste im Überblick:

I. Probleme mit Worten/ Texten
II. Unzutreffende Annahmen über Befragte
III. Erinnerungsvermögen
IV. Berechnung/ Schätzung
V. Komplexität der mentalen Leistung
VI. Nicht intendierte Nebeneffekte
VII. „Weiß-nicht“-Kategorie bei Einstellungsfragen
VIII. Kontext der Frage/ Fragensukzession
IX. Antwortvorgaben/ Antwortskalen
X. Offene Fragen
XI. Probleme im Zusammenhang mit der Aufgabenbeschreibung in selbst-administrierten Fragen

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

4. August 2010: Ein Blumenkübel geht um die Welt. Trending Topic bei Twitter ist der Begriff #Blumenkübel. Wie konnte es dazu kommen und was haben Online-Umfragen damit zu tun?

Wir sind immer wieder fasziniert davon, wie schnell über Twitter Nachrichten verbreitet werden. In dieser Woche zeigte sich, dass auch Sommerloch-Themen Ihren Platz bei Twitter bekommen können.

Mehr…

admin Allgemeines Studien