Neben offenen Fragen, Matrixfragen oder Ranking-Fragen, gehören geschlossene Fragen mit Antwortskalen zum Standardrepertoire bei fast jeder Fragebogenerstellung. Die Gestaltung von Antwortskalen, z.B. zur Messung von Einstellungen, hat einen wesentlichen Einfluss auf die Güte einer Messung und somit auf den Erfolg einer Frage. Im Folgenden werden Aspekte bzw. Effekte der Skalendefinition beschrieben, welche das Antwortverhalten der Befragten beeinflussen können.
Im Hinblick auf die Anzahl von Skalenpunkten gehen Wissenschaftler davon aus, dass Skalen eine größere Anzahl von Skalenpunkten enthalten soll. Dafür spricht, dass je feiner eine Skala, desto eher können Befragte Antworten differenzieren. Somit werden sog. Ceiling- oder Floor-Effekte vermieden. Diese treten vor dem Hintergrund auf, dass Skalenpunkte nicht das gesamte Antwortkontinuum abbilden und Antworten von Befragten, die gerne extremer geantwortet hätten, sich am untern bzw. oberen Rand der Skala häufen. Jedoch gilt es dabei auch zu beachten, dass zu viele Skalenpunkte die Klarheit der Bedeutungen der einzelnen Skalenpunkte reduzieren.
Im Regelfall wird in der Literatur unter Aspekten der Reliabilität und Validität demnach eine 5 – oder 7-Punkt-Skala empfohlen. Dabei bestehen Skalenmittelpunkte, so dass Befragte neutrale Positionen einnehmen können („weder/noch“ oder „teils/teils“). Dadurch werden Befragte nicht dazu gezwungen in der einen oder anderen Richtung zu antworten, was letztlich den Messfehler erhöhen kann. Jedoch gilt es zu berücksichtigen, dass gerade neutrale Kategorien gewählt werden, wenn der Antwortprozess unvollständig oder gar nicht durchlaufen wurde. Um dies zu vermeiden, sollte jedoch weniger auf eine neutrale Antwortmöglichkeit verzichtet werden, sondern eher der Fragebogen insgesamt unterhaltsamer gestaltet werden, so dass sich Befragte während der Umfrage nicht langweilen und sie alle Fragen und Antworten vollständig durchgehen.
Zum anderen haben wissenschaftliche Studien gezeigt, dass Kontexteffekte im Fall von Antwortskalen Einfluss auf das Antwortverhalten haben können. Hintergrund ist, dass negative Urteile von Befragten häufig vermieden werden. Demnach befinden sich Antworten eher auf der positiven Hälfte von Skalen. In diesem Zusammenhang wird vom positivity bias gesprochen. Demnach würden sich im Durchschnitt z.B. bei einer Skala von -5 bis +5 mehr Antworten auf der positiven Hälfte befinden als bei einer Skala von 0 bis 10.
Was die Frage im Hinblick auf die mögliche Verbalisierung der Skalenpunkte angeht, bestehen unterschiedliche Sichtweisen. Zwar sind numerische Werte präziser als verbale Benennungen, die häufig Raum für unterschiedliche Interpretationen lassen. Jedoch erscheinen verbale Skalenbezeichnungen natürlicher, da Bedeutungen im Alltag selten durch Zahlen ausgedrückt werden. Verbal benannte Skalenpunkte erläutern demnach eindeutiger die Bedeutung der Skalenpunkte und erhöhen somit die Leichtigkeit, mit der Personen antworten können. Unter Aspekten der Reliabilität sind verbale Skalenbenennungen also durchaus sinnvoll.
Wir haben ja bereits in den vergangenen Wochen immermal wieder ein paar hilfreiche Tipps zur Umsetzung von Onlinebefragungen in den Blog gestellt. Daran anknüpfend haben wir Euch in dieser Woche folgend was zur Teilnehmer- & Antwortkontrolle bei Online-Umfragen zusammengestellt.
Im Rahmen von Online-Umfragen bestehen vielfältige Kontrollmöglichkeiten im Hinblick auf die Teilnehmer und Antwortoptionen. Im Wesentlichen bestehen Kontrollmöglichkeiten vor, während und nach einer Befragung.
Die Auswahl eines Umfragetyps – entweder personalisiert oder anonym- bestimmt vor dem Start einer Befragung, wer an der Umfrage teilnehmen kann: Jeder, der auf den öffentlichen Umfragelink klickt (anonym) oder lediglich diejenigen, die persönlich über eine Email zur Umfrage eingeladen wurden (personalisiert). Voraussetzung für die gezielte Einladung von Befragungsteilnehmern im Rahmen einer personalisierten Befragung ist das Vorliegen von persönlichen Emailadressen. Im Fall einer anonymen Umfrage kann über die Auswahl der Kommunikationskanäle, über die der Umfragelink veröffentlicht wird – z.B. Webseiten, Mailinglisten oder Twitter -, Einfluss auf die Zusammensetzung der Stichprobe genommen werden. Dazu ist jedoch Wissen über die Besucher von Webseiten bzw. Teilnehmer von Mailinglisten notwendig.
Eine Möglichkeit, die Zusammensetzung der Teilnehmergruppe während einer Umfrage generell zu beeinflussen, bieten Quotierungen und Filter auf Basis von Fragen zur Demografie (u.a. Geschlecht, Alter, Nationalität). Falls Befragungsteilnehmer aufgrund ihrer Demografie nicht zur Zielgruppe gehören, können sie im Rahmen von Online-Umfragen problemlos ausgescreent werden.
Auch das Antwortverhalten kann während der Befragung kontrolliert werden. Anhand von Plausibilitätschecks lässt sich das Antwortverhalten von Probanden auf Konsistenz & Plausibilität prüfen. Darüber hinaus kann inkonsistentes Antwortverhalten vermieden werden, indem entsprechende Antworten im Fragebogen als exklusiv gekennzeichnet werden, so dass konträre Antwortoptionen nicht gemeinsam ausgewählt werden können. Generell sollte bei geschlossenen Fragen immer die Antwortmöglichkeit „keine Angabe“ bestehen, um keine Antworten zu „erzwingen“ und demnach die Gefahr zu vermeiden, dass fälschliche, inkonsistente Antworten gegeben werden.
Um das Antwortverhalten im Anschluss an eine Befragung zu überprüfen, besteht die Möglichkeit, die Antwortzeiten zu analysieren, welche Probanden für die Beantwortung des gesamten Online-Fragebogens gebraucht haben. Dadurch können „Duchklicker des Fragebogens“ identifiziert werden und, im Zweifelsfall, die jeweiligen Datensätze aus der Betrachtung bzw. Analyse ausgeschlossen werden. Eine aufwendige Methode, Erhebungsdaten nach der Umfrage auf Reliabilität zu kontrollieren, ist die erneute Befragung einer Substichprobe. Dadurch wird festgestellt, inwieweit sich Antwortoptionen bei wiederholten Datenerhebungen unter gleichen Bedingungen duplizieren lassen und demnach zeitpunktunabhänig sind.
Am 23. und 24. Juni stand der – inzwischen schon etablierte – Workshop „Introductory and Advanced Course on Web-based & Mobile Survey Research“ an. Im dritten Jahr in Folge durften wir auf Einladung von Dr. Niels von Quaquebeke nach Rotterdam fahren, um an der dortigen ERIM (Erasmus Research Institute of Management) die Doktoranden und wissenschaftlichen Mitarbeiter zu schulen. Niels ist ein langjähriger Nutzer unserer Software und Begleiter Uniparks. Das Ziel des jährlichen Kurses ist, alle wichtigen Features und Extensions von EFS Survey vorzustellen. Das geht von der einfachen Fragebogenprogrammierung bis zum Einsatz der Mobile oder Conjoint Extension! Die Doktoranden lernen hier zunächst die Software kennen und haben dann die Möglichkeit in Übungs-Sessions die Umsetzung eigener Projekte anzugehen. Besonders die Möglichkeit, direkt mit den Globalpark-Mitarbeitern zu den verschiedenen Möglichkeiten und Lösungen zu diskutieren, kommt immer gut an.
Uns hat es wieder viel Spaß gemacht, im universitären Umfeld die Einsatzmöglichkeiten der Software zu „erschnuppern“. Spannend war insbesondere der Einsatz für die Analyse von sozialen Netzwerken, die von Niels vorgestellt wurde!
Derzeit erhalten alle Kunden von Unipark auf Globalpark Schulungen und Veranstaltungen 20 % Rabatt. Neben Einsteiger-, Fortgeschrittenen- oder Expertenschulungen sowie individuellen Workshops bietet das aktuelle Seminarprogramm der Globalpark Academy eine Vielzahl verschiedener Veranstaltungen.
Somit haben Uniparker entsprechend ihrem individuellen Kenntnisstand die Möglichkeit den Umgang mit EFS Survey zu verbessern oder im Hinblick auf Methoden der Sozialforschung, Fragebogenkonzeption und Auswertung von Onlineprojekten neues Know-How zu erlernen. Die Schulungen dauern in der Regel einen Tag und werden allesamt von qualifizierten Trainern des Globalpark Schulungsteams durchgeführt.
Für weitere Informationen steht Ihnen das Unipark-Team (info@unipark.de) sehr gerne zur Verfügung.
Nachdem wir in der letzten Woche ein paar Hinweise genannt haben, die es beim Fragebogen-Pretest zu berücksichtigen gilt, wollen wir euch nun ein paar Tipps zur Fragen- & Itemformulierung geben. Nachzulesen sind sie in dem Artikel „Tipps zur Fragen- und Itemformulierung“ von Meinald Thielsch und Sarah Gersie (2008).
Zunächst ein paar grundsätzliche Regeln: Verwendet bei der Fragebogenerstellung kurze, leicht verständliche Items und verzichtet auf überflüssige Items, um den Fragebogen nicht unnötig zu verlängern.
Um die Verständlichkeit der Fragen zu erhöhen, sollten mehrere Aspekte beachtet werden. Dazu gehört, lediglich eine Aussage pro Item, keine Doppelfragen und auch keine doppelte Verneinung zu verwenden. Ferner sollten ausschließlich Begriffe mit eindeutiger Bedeutung eingebracht und auf Abkürzungen verzichtet werden.
Um Informationen sinnvoll zu erheben, gilt es ebenfalls mehrere Grundsätze zu berücksichtigen, wie bspw. die Fragen ich-bezogen zu formulieren, damit der Befragte tatsächlich seine eigene Meinung äußert. Außerdem sollten Fragebogenitems nicht zu allgemein formuliert werden, da sich Infos mit konkreten Fragen besser erheben lassen. Items, denen immer zugestimmt oder die immer abgelehnt werden, sollten genauso wie Suggestivfragen vermieden werden.
Letztlich gilt es beim Entwerfen der Fragen und Items auch die Zielgruppe zu berücksichtigen. Fragen und Items müssen dem Bildungsniveau der Befragten angepasst werden. D.h., Probanden sollten nicht mit Fragen konfrontiert werden, die sie nicht beantworten können.
Wenn diese zentralen Punkte bei der Fragebogenerstellung beachtet werden, erhaltet ihr gut formulierte Fragen und Items und erspart euch umfangreiche Nachbesserungen nach einem Pretest.
Der Fragebogen Pretest gehört mit zu den wichtigsten Arbeiten vor der Feldphase einer Umfrage. Pretests dienen dazu, Fragebögen auf korrekte Frageformulierungen, plausible Reihenfolgen & sinnvolle Antwortkategorien zu überprüfen.
Die Wissenschaftler Wolfgang Beywl & Ellen Schepp-Winter haben dazu in ihrem Leitfaden zur zielgeführten Evaluation von Programmen (2000) einige Fragestellungen generiert, die beim Pretest berücksichtigt werden sollten. Dies gilt natürlich auch für Onlinebefragungen mit einer :
Sind die Fragen redundant?
Gibt es schwer verständliche Fragen?
Können überhaupt sinnvolle Antworten gegeben werden?
Sind die Anweisungen verständlich?
Gibt es sprachliche und lexikalische Überforderungen oder Brüche?
Bieten die Skalierungen genügend Differenzierung, und sind sie auch nicht zu weit aufgefächert?
Ist im Aufbau ein roter Faden erkennbar?
Sind auch die Rahmentexte gut lesbar?
Wird der Spannungsbogen beim Ausfüllen erhalten?
Wenn Sie Ihren Fragebogen auf Grundlage dieser Fragen überprüft haben, besteht ferner die Möglichkeit, Ihren Fragebogen von anderen Personen testen zu lassen.
Dazu steht Ihnen bei Unipark das Pretester Modul in EFS Survey zur Verfügung, so dass Dritte über ein Kommentarfeld Anmerkungen zum Fragebogen abgeben können. Die Anmerkungen werden automatisch und systematisch aufbereitet und können mit verschiedenen Bearbeitungsstati versehen werden.
Nutzen Sie dabei das Know-How des Unipark Pretester Pools und lassen Sie Ihren Fragebogen von ausgewiesen Unipark Experten pretesten.
Mehr Infos dazu erhalten Sie unter: http://www.unipark.info/220-0-pretester-pool.htm
Anfang Februar startete Unipark mit dem Pretester-Pool, der die Expertise von Uniparkern im Hinblick auf die technische und konzeptionelle Fragenbogenumsetzung mit EFS Survey bündelt. Er vereint diejenigen, die am Feedback anderer Uniparker zur eigenen Fragebogenerstellung und an Einblicken in die Fragebogenkonzeption anderer interessiert sind.
Immer mehr Uniparker sind von der Idee überzeugt, wünschen sich Feedback und wertvolle Anstöße zur eigenen Fragebogenumsetzung. In den vergangenen zweieinhalb Monaten, seit der Initiierung des Pretester-Pools, sind ihm insgesamt 89 Unipark beigetreten. Tendenz steigend!
Getestet werden konnten bislang insgesamt 13 Studien. Dabei waren Umfragen aus allen Forschungsrichtungen vertreten: u.a. Psychologie („Ursachen von Belastungsempfinden bei Studierenden“), Medizin („Quality of Life among Cancer Patients“), Wirtschaft („Lieferanten-Kunden-Beziehung im Rahmen der Neuproduktentwicklungen“) und Medienwissenschaften („Die Rolle der Internetnutzung beim Integrationsprozess der türkischen Migranten in Deutschland“).
Zu diesen Umfragen, die von Uniparkern vorwiegend aus Deutschland, aber auch aus Luxemburg und Österreich erstellt wurden, haben sich insgesamt 100 Pretester-Pool Mitglieder zum Pretest beworben. Die Pretest-Autoren berichteten von überwiegend sehr hilfreichen Kommentaren zur Fragebogenoptimierung.
Nutzen die Vorteile des Fragebogen Pretests, indem Sie sich auf unserer Webseite www.unipark.info in der Rubrik Community zum Pretest-Pool anmelden. Dort können Sie den Pretester-Pool auch direkt für einen eigenen Pretest aktivieren
Die Produktion der Tutorialsl für einen vereinfachten Einstieg in EFS Survey kommt gut voran. Neben den bereits fünf vorhandenen deutschen Tutorials gibt es für alle internationalen Uniparker vier englisch-sprachige. Die Reihe wird in Kürze vervollständigt, so dass der gesamte Ablauf eines Online-Befraungsprojektes mit Hilfe von EFS Survey darsgestellt wird.
Die Tutorials bieten eine einfache Möglichkeit sich mit EFS Survey vetraut zu machen sowie einen Leitfaden, für die Erstellung einer Online Befragung.
Der praktische Video-Leitfaden kann auch von Kollegen genutzt und immer wieder angeschaut werden. Bei Fragen können Sie sich gern unter info@unipark.de an uns wenden.
