Unipark-Blog

Das Fragebewertungssystem von Faulbaum, Prüfer und Rexroth (2009) weist auf nicht-intendierte Nebeneffekte von Fragen hin, welche vom Umfrageautor bei der Prüfung von Fragen berücksichtigt werden sollten, um die Gefahr von Verzerrungen im Antwortverhalten aus zu schließen. Hintergrund ist, dass bestimmte Frageformulierungen oder Themen Ängste oder Bedenken bei Befragten auslösen können mit der Folge, dass möglicherweise keine oder falsche Antworten gegeben werden.
Im Allgemeinen bestehen unterschiedliche Fragetypen, welche nicht-intendierte Nebeneffekte auslösen können. Dazu zählen Fragen, welche beim Probanden eine subjektive Bedrohlichkeit auslösen, da sie Ängste und/ oder Bedenken wecken. Der Extremfall wären Fragen, bei denen der Befragte bei aufrichtiger Beantwortung mit einer tatsächlichen Strafe bzw. Sanktionierung rechnen müsste.

Dazu gehören u.a. Fragen zu

• delinquentem Verhalten
• Alkoholkonsum
• Sexualverhalten

Außerdem können Fragen, welche die Privatheit oder soziale Erwünschtheit betreffen, nicht-intendierte Nebeneffekte auslösen. Diese Art von Fragen können vom Probanden dazu genutzt werden, um sich bspw. in einem besseren Licht darzustellen.

Hierzu gehören u.a. Fragen, die Informationen erheben über

• Anzahl der Sexualpartner
• Anzahl der Bücher im Haushalt
• Teilnahme an Wahlen

Weitere nicht-intendierte Effekte können im Rahmen von Suggestivfragen auftreten. Dabei wird das Antwortverhalten aufgrund einer nicht-neutralen Formulierung unfreiwillig in eine bestimmte Richtung gelenkt. Des Weiteren treten nicht-intendierte Effekte bei Einstellungsfragen auf, im Fall, dass mögliche Alternativen nicht explizit ausformuliert sind.

Ob eine Frage vom Probanden jedoch tatsächlich als bedenklich, bedrohlich oder entsprechend einer sozialen Erwünschtheit vorbelastet empfunden wird, hängt grundlegend jedoch von der Bezugsgruppe des Befragten, dem Befragten selber und – bei Interviewer-administrierten Interviews – von Interviewermerkmalen ab.
Die Autoren des Fragebewertungssystems schlagen in diesem Zusammenhang einige Maßnahmen vor, um das Ausmaß der Bedrohlichkeit bzw. Sensibilität einzugrenzen, sozial unerwünschtes Antwortverhalten als akzeptabel erscheinen zu lassen und weitere nicht-intendierte Effekte auszuschließen.

Dazu gehören:

• Begründung der Fragen im Rahmen einer kurzen Einleitung, um die Notwendigkeit der heiklen Fragen darzustellen
• „Indirekt“ fragen
• Sozial unerwünschte Antworten durch gute Entschuldigungen oder den Hinweis akzeptabler machen, dass Andere auch so geantwortet haben
• Emotional besetzte Formulierungen durch neutrale Begriffe ersetzen
• Betonung der Anonymität
• Keine Suggestivfragen
• Alle Antwortmöglichkeiten aufzählen

admin Allgemeines

Das Fragebewertungssystem von Faulbaum, Prüfer und Rexroth (2009) weist auf Probleme beim Beantworten von Fragen aufgrund schwieriger Berechnungen bzw. Schätzungen sowie komplexer mentaler Leistungen hin.

Eine schwierige Berechnung oder eine diffizile Schätzung zur Beantwortung einer Frage kann Probanden vor Probleme stellen, wenn die geforderte Aufgabe die kognitiven Fähigkeiten übersteigt oder der Aufwand zur Lösung der Aufgabe unangemessen hoch ist. Von daher sollte die Rechen- bzw. Schätzleistung im Rahmen von Fragen nicht zu schwierig sein, um (fast) jedem Befragungsteilnehmer das Beantworten der jeweiligen Frage zu ermöglichen. Im Rahmen eines Pretests lässt sich normalerweise gut überprüfen, ob das Gros der Probanden in der Lage ist, die jeweiligen Frage(n) zu beantworten. Dies gilt natürlich nicht für den Fall, wenn Befragungsteilnehmer aufgrund ihrer Rechen- bzw. Schätzleistungen klassifiziert werden sollen. Dabei werden Befragungsteilnehmern in der Regel mehrere Leistungen unterschiedlicher Schwierigkeit abverlangt, um sie letztlich entsprechend ihrem Leistungsniveau zu gruppieren.

Neben dem Berechnen oder Erinnern beeinflussen weitere persönliche mentale Leistungsfähigkeiten das Beantworten von Fragen. Dazu gehört u.a. die Fähigkeit, Sachverhalten miteinander zu verknüpfen oder sich alltagsferne Ereignisse und Sachverhalte vorzustellen. Dies gilt vor allem im Zusammenhang mit einer Befragungsart, bei welcher dem Befragungsteilnehmer keine visuellen Hilfen zum unterstützenden Frageverständnis angeboten werden können (bspw. bei Telefonumfragen) oder der Fragetext nicht beliebig wiederholt werden kann. Dies sollte bei jeder Fragengestaltung berücksichtigt werden, indem nicht allzu lange Fragetexte mit nicht allzu vielen komplizierten Informationen gestellt werden, um den Probanden nicht zu überfrachten. Nur dann ist gewährleistet, dass er auch in der Lage ist, die gegebenen Informationen zu verarbeiten und im Anschluss eine adäquate Antwort zu geben. Auch hier kann eine Pretest Abhilfe schaffen und jene Fragen identifizieren, die den Probanden aufgrund schwer verständlicher Fragen Probleme beim Beantworten bereiten.

Eine gute Möglichkeit Pretest-Kommentare zu gewinnen bietet die Teilnahme am Unipark Pretester-Pool.

admin Allgemeines Tipps

Nachdem im letzten Blogbeitrag zum Fragebewertungssystem (vom 31.08.10) Probleme im Zusammenhang mit Wörtern und Texten vorgestellt wurden, geht es im Folgenden um eine weitere Fehlerquelle - systematische Fehler aufgrund unzutreffender Annahmen über Befragte und schwierige Erinnerungsleistungen.

Wenn eine Frage von unzutreffenden Annahmen über Merkmale bzw. Verhaltensweisen von Befragten ausgeht, kann es aufgrund einer falschen Interpretation der Frage zu Verzerrungen im Antwortverhalten kommen.
Wenn bspw. nach der Häufigkeit eines Ereignisses gefragt wird (z.B. Wie oft kaufen Sie Lebensmittel mit niedrigem Salzgehalt in einem Reformhaus?) und die Antwortmöglichkeiten von „immer“ bis „nie“ reichen, drückt letztere im Zweifelsfall keine intendierte Häufigkeit aus, sondern vielmehr den Fall, dass jenes Ereignis auf die Befragungsperson gar nicht zutrifft. In diesem Fall ist „nie“ nicht als Häufigkeit anzusehen, sondern als Verneinung zu eben jenem Ereignis. Der Fehler im Rahmen der Auswertung rührt daher, dass bei der Berechnung der prozentualen Anteile der Häufigkeitskategorien im Fall der Antwort „nie“ auch die „trifft nicht zu“ – Fälle mit einbezogen werden. Aus diesem Grund macht es in einem solchen Fall mehr Sinn eine weitere Antwortkategorie, wie „trifft für mich nicht zu“, mit aufzunehmen.

Ein weiterer systematischer Fehler kann im Zusammenhang mit schwierigen Erinnerungsleistungen auftreten. In diesen Fällen kann es passieren, dass bei der Erhebung retrospektiver Daten vom Proband lediglich eine grobe Schätzungen abgegeben wird oder gar keine Erinnerungsleistung erbracht werden kann, weil sie zu schwierig ist (bspw. weil der zurückliegende Zeitpunkt zu lange her ist oder der zurückliegende Zeitrahmen zu lang ist). Erinnerungsfragen können unterschiedliche Arten von Daten erheben. Die Wichtigsten sind:

• Fragen zur Datierung von Ereignissen („Wann fand das Ereignis statt?“)
• Fragen zu Zeitdauern („Wie lange dauerte das Ereignis?“)
• Fragen nach Zeiträumen, die seit dem Eintritt des Ereignisses vergangen sind („Wie viel Zeit ist seit dem Ereignis vergangen?“)
• Fragen nach der Ereignishäufigkeit („Wie oft ist das Ereignis eingetreten?“)

Diese Art von Fehler wird im Regelfall umso größer, je weiter das betreffende Ereignis zurückliegt. D.h., die Genauigkeit sowie die Zuverlässigkeit der gelieferten Information werden in diesen Fällen beeinträchtigt. Zur Stützung des Erinnerungsvermögens des Probanden können gut erinnerbare Ankerpunkte, wie bspw. Weihnachten oder Geburtstage, gesetzt werden. Ferner können im Vorfeld wichtige persönliche Ereignisse vom Probanden erfragt werden, um dadurch eine bessere Orientierung zu ermöglichen. In jedem Fall sollte bei Fragen dieser Art, immer eine zusätzliche Antwortkategorie „Kann mich nicht erinnern“ beigefügt werden, um dem Probanden eine Ausschlussmöglichkeit anzubieten.

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S. 155 ff

admin Allgemeines Tipps

Durch eine Kooperation von Globalpark mit der Firma CHE Consult, die im übrigen auch für das deutsche Hochschulranking verantwortlich zeichnet, hatte Unipark die Möglichkeit an der diesjährigen Generalversammlung der Compostela Group of Universities (CGU) teilzunehmen.

Die CGU ist ein Verbund von 73, zumeist spanisch-sprachigen, Hochschulen aus 21 verschiedenen Ländern mit insgesamt rund 1,5 Mio. Studierenden. Ziel der CGU ist es, Netzwerke zwischen Hochschulen zu knüpfen, den Austausch untereinander zu fördern und die teilnehmenden Hochschulen wettbewerbsfähig zu machen. Neben den Hochschulmitgliedern sind auch einige Unternehmen aus dem Bereich der Higher Education Teil der CGU, so auch Globalparks Kooperationspartner CHE Consult.

Im Rahmen der diesjährigen Veranstaltung hatte Unipark die Gelegenheit, sich selbst sowie das University Feedback Management (UFM) vorzustellen. UFM ist Globalparks Software Suite mit der sich alle Feedbackprozesse in der Organisation Universität realisieren lassen, sei es im Bereich des Personalmanagements, des Qualitätsmanagements, der Kunden- (Studenten-) befragung oder einem anderen relevanten Bereich.

Das Programm der zweitägigen Konferenz war gespickt mit Highlights, von der Verleihung des Compostela Awards an den Nobelpreisträger Dr. Mohammed ElBaradei über ein gemeinsames Galadinner bis hin zu einem Empfang beim Bürgermeister von Santiago de Compostela.

Neben all den offiziellen Terminen wurde zudem insbesondere darauf geachtet, dass ausreichend Zeit für den Austausch der Teilnehmer untereinander zur Verfügung stand.

Unipark konnte diese Zeit nutzen, um neue Kontakte nach Spanien, Portugal, Mexico, Litauen und Rumänien zu knüpfen und sich mit Rektoren und Leitern der entsprechenden Internationalisierungsabteilungen auszutauschen.

Die Generalversammlung der CGU war insgesamt eine sehr gelungene Veranstaltung, auf die sich in der Zukunft aufbauen lässt.

admin Allgemeines

Nachdem im Blogbeitrag vom 23.08.10 das Fragebewertungssystem von Faulbaum, Prüfer und Rexroth (2009) dargestellt wurde, geht es im Folgenden Beitrag um die erste Kategorie der FBS-Checkliste – Probleme mit Worten und Texten.

Die im Sinne des Umfrageforschers korrekte inhaltliche Deutung einer Frage und Antwort ist für die Messung eines spezifischen Konstrukts unabdingbare Voraussetzung. Wenn der Befragte hingegen eine Frage nicht entsprechend der Intention des Umfrageforschers versteht, misst die Frage etwas anderes als beabsichtigt. Dies gilt es zu vermeiden, so dass der Befragte der Frage eindeutig entnehmen kann, welche Leistung von ihm verlangt wird.

Wenn ein Fragetext Worte oder Formulierungen mit vager bzw. unklarer Bedeutung enthält, kann es passieren, dass eine Frage nicht von allen Befragten in gleicher Weise verstanden wird.
Beispiele hierzu sind:

• Bezeichnungen mit unklarer Referenz
• Worte, die keine genaue Datierung des Zeitpunkts eines Ereignisses ausdrücken
• Worte, die eine Ungenauigkeit der Häufigkeit (immer, häufig, manchmal) , Intensität (stark, groß, ernst, leicht) oder Menge (fast, alles, einige) ausdrücken

Eine Frage, welche inhaltlich verschiede Sachverhalte anspricht, unterbindet eine Antwortdifferenzierung, so dass Befragte dazu gezwungen werden, mehrere Sachverhalte zusammen zu beantworten. Fragen, welche diesen Konstruktionsfehler beinhalten, lassen sich daran erkennen, dass Fragen/ Aussagen mit unterschiedlichen Begriffen/ Inhalten mit Wörtern wie „und“, „sowie“, „oder“, „weil“ verbunden sind.
Ein weiteres Problem besteht darin, dass der inhaltliche Fokus des Einleitungstexts nicht dem der Frage/ Aussage entspricht. Dies kann dazu führen, dass die Frage/ Aussage vom Befragten nicht so verstanden wird, wie sie verstanden werden soll.

Antworten auf hypothetische Fragen sind oftmals wenig valide, da sie sich nicht auf gemachte, reale Erfahrungen beziehen und sie demnach für den Befragten schwieriger zu beantworten sind. Somit sollte diese Art von Fragen nur dann gestellt werden, wenn sie auch tatsächlich erforderlich sind. Bspw. im Hinblick auf Zukunftsvorstellungen, Zukunftsängsten oder Plänen.
Ferner sollten komplexe Fragen bzw. Aussagen vermieden werden, da sie für den Befragten eine größere mentale Belastung mit sich bringen. Demnach sollten vielmehr einfache, wenig umgangssprachliche Formulierungen verwendet werden. In diesem Zusammenhang gilt es ebenfalls zu betonen, dass Fremdwörter oder Fachausdrücke, welche für den Befragten vielleicht unbekannt sind, vermieden werden sollen. Genau so sollte auf Abkürzungen und seltene Symbole verzichtet werden, um sicher zu stellen, dass alle Befragten die Fragen und Antworten ohne Probleme verstehen.

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

Globalpark hat sich entschieden Lab Versionen von kommenden Software-Features frühzeitig ausgewählten Nutzern zur Verfügung zu stellen. Diese experimentellen Features sollen unseren Nutzern die Möglichkeiten bieten ihre Ideen und Vorschläge mit in den Entwicklungsprozess einfließen zu lassen. Die Lab Version bildet dabei immer nur die erste Stufe des Entwicklungsprozesses, so dass der Nutzer mit seinem Feedback entscheidende Weiterentwicklungen der Software mitgestalten kann.

Warum Unipark?
Uniparker gehören zu den experimentierfreudigsten Nutzern und geben uns wertvolle Hinweise unsere Produkte weiterzuentwickeln. Innerhalb der Unipark-Community findet ein reger Austausch über Ideen und Vorschläge zur Weiterentwicklung der Software statt. Vor diesem Hintergrund wollen wir nun im Rahmen von frühzeitig veröffentlichten Lab Versionen diese Ideen und Anregungen aufnehmen und in der Software umsetzten.

Was können Sie von Lab Versionen erwarten?
Mit der frühzeitigen Veröffentlichung neuer Features und Produkte erhoffen wir uns ein gezieltes Feedback der Nutzer. Mit Lab Versionen wollen wir Ideen vorstellen und dem Nutzer das Ausprobieren neuer Software-Features ermöglichen. Lab Versionen sind keine ausgereiften Globalpark-Produkte und stehen dem Nutzer nur für einen begrenzten Zeitraum zur Verfügung. Sie laden zum Ausprobieren und Experimentieren ein.

Wie können Sie die Software weiterentwickeln?
Mit Ihren Kommentaren und Hinweisen können wir die Software gezielt weiterentwickeln und gemeinsam neue Standards setzen. Nutzen Sie daher die Möglichkeit uns Feedback über das neue Feature zukommen zu lassen. In jeder Lab Version besteht die Möglichkeit, uns schnell und einfach Feedback zuzusenden. Helfen Sie uns, innovative Ideen zufördern und allen Nutzern zur Verfügung zu stellen. Ihr Feedback zu Lab Versionen ist ein wichtiger Bestandteil des Entwicklungsprozesses. Für jeden einzelnen Beitrag sind wir Ihnen dankbar.

Die erste Lab Version wird das EFS Reporting betreffen und für alle Uniparker exklusiv ab dem 13.09.2010 für 12 Wochen zur Verfügung stehen.

Weitere Informationen zum EFS Reporting Lab finden Sie hier.

admin Allgemeines Community

Nachdem ein Fragebogen erstellt wurde, geht es für den Umfrageautor im nächsten Schritt darum, den Fragebogen auf Fehler und Unklarheiten zu testen. Somit wird die Qualität der Fragen sowie letztlich die der gewonnenen Ergebnisdaten sichergestellt.

Dazu haben Faulbaum, Prüfer und Rexroth (2009) ein Bewertungssystem zur Qualitätsüberprüfung einzelner Fragen entwickelt. Das Fragebewertungssystem (FBS) ermöglicht dem Umfrageautor eine kritische Auseinandersetzung über Form und Inhalt jeder einzelnen Frage eines Fragebogens. Demnach handelt es sich primär um ein Evaluationsinstrument, das Verbesserungsbedarf bei einzelnen Fragen identifiziert, aber auch aufgrund einer detaillierten Problembeschreibung Ansätze zur Problembeseitigung liefert.

Das FBS von Faulbaum, Prüfer und Rexroth (2009) besteht aus einer Art Checkliste, in der Probleme bzw. Fehler, z.B. im Hinblick auf das Verstehen des Fragetextes und seiner Teile oder die im Fragetext beschriebenen Aufgaben, in Oberkategorien zusammen gefasst sind. Die Checkliste gibt dem Umfrageautor ein Instrument an die Hand, jede einzelne Frage des Fragebogens dahingehend zu prüfen, welche der dort aufgeführten Probleme auf die Frage zutreffen.

Zwar wurde im Zuge der Entwicklung des FBS dem aktuellen Stand der Forschung im Bereich der Fragebogenkonstruktion und –evaluation Rechnung getragen, um möglichst alle Problemtypen mit zu berücksichtigen, jedoch erhebt das FBS keinen Anspruch auf Vollständigkeit. Somit kann die Anwendung des FBS die Durchführung eines Pretests zur Überprüfung der Fragequalität – insbesondere des Frageverständnisses – nicht ersetzen.

Im Folgenden werden die einzelnen Oberkategorien des FSB dargestellt. Danach erfolgt jede Woche im Unipark Blog eine konkrete Beschreibung einer Oberkategorie mit Beispielen zur Veranschaulichung.
Die FBS-Checkliste im Überblick:

I. Probleme mit Worten/ Texten
II. Unzutreffende Annahmen über Befragte
III. Erinnerungsvermögen
IV. Berechnung/ Schätzung
V. Komplexität der mentalen Leistung
VI. Nicht intendierte Nebeneffekte
VII. „Weiß-nicht“-Kategorie bei Einstellungsfragen
VIII. Kontext der Frage/ Fragensukzession
IX. Antwortvorgaben/ Antwortskalen
X. Offene Fragen
XI. Probleme im Zusammenhang mit der Aufgabenbeschreibung in selbst-administrierten Fragen

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

4. August 2010: Ein Blumenkübel geht um die Welt. Trending Topic bei Twitter ist der Begriff #Blumenkübel. Wie konnte es dazu kommen und was haben Online-Umfragen damit zu tun?

Wir sind immer wieder fasziniert davon, wie schnell über Twitter Nachrichten verbreitet werden. In dieser Woche zeigte sich, dass auch Sommerloch-Themen Ihren Platz bei Twitter bekommen können.

Mehr…

admin Allgemeines Studien