Unipark-Blog

Nachdem im Blogbeitrag vom 23.08.10 das Fragebewertungssystem von Faulbaum, Prüfer und Rexroth (2009) dargestellt wurde, geht es im Folgenden Beitrag um die erste Kategorie der FBS-Checkliste – Probleme mit Worten und Texten.

Die im Sinne des Umfrageforschers korrekte inhaltliche Deutung einer Frage und Antwort ist für die Messung eines spezifischen Konstrukts unabdingbare Voraussetzung. Wenn der Befragte hingegen eine Frage nicht entsprechend der Intention des Umfrageforschers versteht, misst die Frage etwas anderes als beabsichtigt. Dies gilt es zu vermeiden, so dass der Befragte der Frage eindeutig entnehmen kann, welche Leistung von ihm verlangt wird.

Wenn ein Fragetext Worte oder Formulierungen mit vager bzw. unklarer Bedeutung enthält, kann es passieren, dass eine Frage nicht von allen Befragten in gleicher Weise verstanden wird.
Beispiele hierzu sind:

• Bezeichnungen mit unklarer Referenz
• Worte, die keine genaue Datierung des Zeitpunkts eines Ereignisses ausdrücken
• Worte, die eine Ungenauigkeit der Häufigkeit (immer, häufig, manchmal) , Intensität (stark, groß, ernst, leicht) oder Menge (fast, alles, einige) ausdrücken

Eine Frage, welche inhaltlich verschiede Sachverhalte anspricht, unterbindet eine Antwortdifferenzierung, so dass Befragte dazu gezwungen werden, mehrere Sachverhalte zusammen zu beantworten. Fragen, welche diesen Konstruktionsfehler beinhalten, lassen sich daran erkennen, dass Fragen/ Aussagen mit unterschiedlichen Begriffen/ Inhalten mit Wörtern wie „und“, „sowie“, „oder“, „weil“ verbunden sind.
Ein weiteres Problem besteht darin, dass der inhaltliche Fokus des Einleitungstexts nicht dem der Frage/ Aussage entspricht. Dies kann dazu führen, dass die Frage/ Aussage vom Befragten nicht so verstanden wird, wie sie verstanden werden soll.

Antworten auf hypothetische Fragen sind oftmals wenig valide, da sie sich nicht auf gemachte, reale Erfahrungen beziehen und sie demnach für den Befragten schwieriger zu beantworten sind. Somit sollte diese Art von Fragen nur dann gestellt werden, wenn sie auch tatsächlich erforderlich sind. Bspw. im Hinblick auf Zukunftsvorstellungen, Zukunftsängsten oder Plänen.
Ferner sollten komplexe Fragen bzw. Aussagen vermieden werden, da sie für den Befragten eine größere mentale Belastung mit sich bringen. Demnach sollten vielmehr einfache, wenig umgangssprachliche Formulierungen verwendet werden. In diesem Zusammenhang gilt es ebenfalls zu betonen, dass Fremdwörter oder Fachausdrücke, welche für den Befragten vielleicht unbekannt sind, vermieden werden sollen. Genau so sollte auf Abkürzungen und seltene Symbole verzichtet werden, um sicher zu stellen, dass alle Befragten die Fragen und Antworten ohne Probleme verstehen.

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

Globalpark hat sich entschieden Lab Versionen von kommenden Software-Features frühzeitig ausgewählten Nutzern zur Verfügung zu stellen. Diese experimentellen Features sollen unseren Nutzern die Möglichkeiten bieten ihre Ideen und Vorschläge mit in den Entwicklungsprozess einfließen zu lassen. Die Lab Version bildet dabei immer nur die erste Stufe des Entwicklungsprozesses, so dass der Nutzer mit seinem Feedback entscheidende Weiterentwicklungen der Software mitgestalten kann.

Warum Unipark?
Uniparker gehören zu den experimentierfreudigsten Nutzern und geben uns wertvolle Hinweise unsere Produkte weiterzuentwickeln. Innerhalb der Unipark-Community findet ein reger Austausch über Ideen und Vorschläge zur Weiterentwicklung der Software statt. Vor diesem Hintergrund wollen wir nun im Rahmen von frühzeitig veröffentlichten Lab Versionen diese Ideen und Anregungen aufnehmen und in der Software umsetzten.

Was können Sie von Lab Versionen erwarten?
Mit der frühzeitigen Veröffentlichung neuer Features und Produkte erhoffen wir uns ein gezieltes Feedback der Nutzer. Mit Lab Versionen wollen wir Ideen vorstellen und dem Nutzer das Ausprobieren neuer Software-Features ermöglichen. Lab Versionen sind keine ausgereiften Globalpark-Produkte und stehen dem Nutzer nur für einen begrenzten Zeitraum zur Verfügung. Sie laden zum Ausprobieren und Experimentieren ein.

Wie können Sie die Software weiterentwickeln?
Mit Ihren Kommentaren und Hinweisen können wir die Software gezielt weiterentwickeln und gemeinsam neue Standards setzen. Nutzen Sie daher die Möglichkeit uns Feedback über das neue Feature zukommen zu lassen. In jeder Lab Version besteht die Möglichkeit, uns schnell und einfach Feedback zuzusenden. Helfen Sie uns, innovative Ideen zufördern und allen Nutzern zur Verfügung zu stellen. Ihr Feedback zu Lab Versionen ist ein wichtiger Bestandteil des Entwicklungsprozesses. Für jeden einzelnen Beitrag sind wir Ihnen dankbar.

Die erste Lab Version wird das EFS Reporting betreffen und für alle Uniparker exklusiv ab dem 13.09.2010 für 12 Wochen zur Verfügung stehen.

Weitere Informationen zum EFS Reporting Lab finden Sie hier.

admin Allgemeines Community

Nachdem ein Fragebogen erstellt wurde, geht es für den Umfrageautor im nächsten Schritt darum, den Fragebogen auf Fehler und Unklarheiten zu testen. Somit wird die Qualität der Fragen sowie letztlich die der gewonnenen Ergebnisdaten sichergestellt.

Dazu haben Faulbaum, Prüfer und Rexroth (2009) ein Bewertungssystem zur Qualitätsüberprüfung einzelner Fragen entwickelt. Das Fragebewertungssystem (FBS) ermöglicht dem Umfrageautor eine kritische Auseinandersetzung über Form und Inhalt jeder einzelnen Frage eines Fragebogens. Demnach handelt es sich primär um ein Evaluationsinstrument, das Verbesserungsbedarf bei einzelnen Fragen identifiziert, aber auch aufgrund einer detaillierten Problembeschreibung Ansätze zur Problembeseitigung liefert.

Das FBS von Faulbaum, Prüfer und Rexroth (2009) besteht aus einer Art Checkliste, in der Probleme bzw. Fehler, z.B. im Hinblick auf das Verstehen des Fragetextes und seiner Teile oder die im Fragetext beschriebenen Aufgaben, in Oberkategorien zusammen gefasst sind. Die Checkliste gibt dem Umfrageautor ein Instrument an die Hand, jede einzelne Frage des Fragebogens dahingehend zu prüfen, welche der dort aufgeführten Probleme auf die Frage zutreffen.

Zwar wurde im Zuge der Entwicklung des FBS dem aktuellen Stand der Forschung im Bereich der Fragebogenkonstruktion und –evaluation Rechnung getragen, um möglichst alle Problemtypen mit zu berücksichtigen, jedoch erhebt das FBS keinen Anspruch auf Vollständigkeit. Somit kann die Anwendung des FBS die Durchführung eines Pretests zur Überprüfung der Fragequalität – insbesondere des Frageverständnisses – nicht ersetzen.

Im Folgenden werden die einzelnen Oberkategorien des FSB dargestellt. Danach erfolgt jede Woche im Unipark Blog eine konkrete Beschreibung einer Oberkategorie mit Beispielen zur Veranschaulichung.
Die FBS-Checkliste im Überblick:

I. Probleme mit Worten/ Texten
II. Unzutreffende Annahmen über Befragte
III. Erinnerungsvermögen
IV. Berechnung/ Schätzung
V. Komplexität der mentalen Leistung
VI. Nicht intendierte Nebeneffekte
VII. „Weiß-nicht“-Kategorie bei Einstellungsfragen
VIII. Kontext der Frage/ Fragensukzession
IX. Antwortvorgaben/ Antwortskalen
X. Offene Fragen
XI. Probleme im Zusammenhang mit der Aufgabenbeschreibung in selbst-administrierten Fragen

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

4. August 2010: Ein Blumenkübel geht um die Welt. Trending Topic bei Twitter ist der Begriff #Blumenkübel. Wie konnte es dazu kommen und was haben Online-Umfragen damit zu tun?

Wir sind immer wieder fasziniert davon, wie schnell über Twitter Nachrichten verbreitet werden. In dieser Woche zeigte sich, dass auch Sommerloch-Themen Ihren Platz bei Twitter bekommen können.

Mehr…

admin Allgemeines Studien

Bei der Umsetzung einer Online Befragung gilt es grundsätzliche Aspekte einer ordentlichen Fragebogenerstellung zu berücksichtigen, um gute Ergebnisse zu erzielen. Sie geben dem Umfrageautor wichtige Hinweise im Hinblick auf die Kontaktherstellung zu den Umfrageteilnehmern, die Kommunikation, die Gestaltung des Online Fragebogens und die Kontrolle der Antworten.

Bei der Kontaktherstellung im Rahmen einer anonymen Befragung über ein Pop-up sollte beachtet werden, dass Pop-ups, welche sich wesentlich von der Internetseite unterscheiden, auf der sie platziert sind, generell weniger Aufmerksamkeit bekommen als diejenigen, die im selben Layout gestaltet sind. Dies hängt im Wesentlichen damit zusammen, dass letztere nicht als Fremdkörper der Seite bzw. Werbeinformation wahrgenommen werden. Der Text eines Pop-ups genauso wie jener einer Einladungsmail im Rahmen einer personalisierten Befragung sollte übersichtlich und knapp gehalten werden. Er sollte kurz skizzieren, worum es bei der Befragung geht, wie lange sie dauert und, dass die Angaben streng vertraulich behandelt, anonymisiert ausgewertet und nicht an Dritte weitergegeben werden. Auch die Angabe einer Kontaktadresse bürgt für Seriosität des Umfrageanbieters.

Während der Online Befragung ist es sehr entscheidend, dem Umfrageteilnehmer Glaubwürdigkeit zu vermitteln. In dem Fall einer Online Befragung ist Glaubwürdigkeit äußerst wichtig, denn sobald ein Umfrageteilnehmer das Gefühl bekommt, dass die Umfrage nicht den propagierten Zweck verfolgt, wird er die Umfrage sofort abbrechen. Demnach sollte der Befragte offen und ehrlich angesprochen werden, wozu neben einer eindeutigen und klaren Einladungsmail bzw. Pop-up eine einleitende Willkommensseite zur Umfrage gehört, auf der kommuniziert wird, was den Befragten erwartet und welche Kenntnisse/ Erfahrungen er im Zweifelsfall zur Beantwortung der Fragen mitbringen muss. In diesem Kontext ist auch die Kommunikation von realistischen Antwortzeiten während der Befragung relevant. Hierzu genügt die Anzeige eines Fortschrittsbalkens in der Befragung, welcher signalisiert, wie viele Fragen der Umfrage bereits beantwortet wurden.

Ferner ist darauf zu achten, dass dem Befragungsteilnehmer während der Umfrage nicht bloß stur Fragen entlockt werden, sondern vielmehr, dass der Befragungsteilnehmer den Eindruck einer unterhaltsamen, interessanten Umfrage hat. Dazu helfen eine Portion Kreativität und grundsätzliche Tipps in Bezug auf die Fragebogenerstellung, wie bspw. Fragendopplungen zu vermeiden und abwechselnde Fragetypen, innovative Flash-Fragetypen und Multi-Media-Elemente einzusetzen.
Ähnliches gilt auch für das Design der Umfrage. Es darf nicht langweilig sein, sondern sollte die Zielgruppe ansprechen. Vorrangig dabei sind jedoch die Lesbarkeit der Fragen und eine schnelle und einfache Navigation durch den Fragebogen, so dass Scrollen grundsätzlich vermieden werden sollte.

Im Hinblick auf die Datenqualität ist es von Bedeutung, Eingaben der Nutzer anhand von Plausibilitätschecks zu kontrollieren. Diese prüfen, ob Antworten bereits vorher gemachten Eingaben entsprechen. Somit kann gewährleistet werden, dass ein stringentes Antwortverhalten der Befragungsteilnehmer vorliegt.
Insgesamt sollte ein Fragebogen kurz gehalten werden, da Befragungspersonen die Umfrage in der Regel neben ihrer primären Tätigkeit ausführen und somit nur begrenzt Zeit haben. Deshalb ist es für die Datengewinnung nicht sonderlich förderlich, überlange Fragebögen zu präsentieren. Es sollten lediglich diejenigen Fragen eingesetzt werden, die einen tatsächlichen Beitrag zur Zielsetzung der Studie leisten. Ferner ist in diesem Zusammenhang das Einbinden von Filterfragen in Abhängigkeit zuvor beantworteter Fragen eine Option. Damit können bestimmte Fragen ausschließlich gewissen Personen angezeigt werden.

admin Allgemeines Tipps

Neben offenen Fragen, Matrixfragen oder Ranking-Fragen, gehören geschlossene Fragen mit Antwortskalen zum Standardrepertoire bei fast jeder Fragebogenerstellung. Die Gestaltung von Antwortskalen, z.B. zur Messung von Einstellungen, hat einen wesentlichen Einfluss auf die Güte einer Messung und somit auf den Erfolg einer Frage. Im Folgenden werden Aspekte bzw. Effekte der Skalendefinition beschrieben, welche das Antwortverhalten der Befragten beeinflussen können.
Im Hinblick auf die Anzahl von Skalenpunkten gehen Wissenschaftler davon aus, dass Skalen eine größere Anzahl von Skalenpunkten enthalten soll. Dafür spricht, dass je feiner eine Skala, desto eher können Befragte Antworten differenzieren. Somit werden sog. Ceiling- oder Floor-Effekte vermieden. Diese treten vor dem Hintergrund auf, dass Skalenpunkte nicht das gesamte Antwortkontinuum abbilden und Antworten von Befragten, die gerne extremer geantwortet hätten, sich am untern bzw. oberen Rand der Skala häufen. Jedoch gilt es dabei auch zu beachten, dass zu viele Skalenpunkte die Klarheit der Bedeutungen der einzelnen Skalenpunkte reduzieren.

Im Regelfall wird in der Literatur unter Aspekten der Reliabilität und Validität demnach eine 5 – oder 7-Punkt-Skala empfohlen. Dabei bestehen Skalenmittelpunkte, so dass Befragte neutrale Positionen einnehmen können („weder/noch“ oder „teils/teils“). Dadurch werden Befragte nicht dazu gezwungen in der einen oder anderen Richtung zu antworten, was letztlich den Messfehler erhöhen kann. Jedoch gilt es zu berücksichtigen, dass gerade neutrale Kategorien gewählt werden, wenn der Antwortprozess unvollständig oder gar nicht durchlaufen wurde. Um dies zu vermeiden, sollte jedoch weniger auf eine neutrale Antwortmöglichkeit verzichtet werden, sondern eher der Fragebogen insgesamt unterhaltsamer gestaltet werden, so dass sich Befragte während der Umfrage nicht langweilen und sie alle Fragen und Antworten vollständig durchgehen.
Zum anderen haben wissenschaftliche Studien gezeigt, dass Kontexteffekte im Fall von Antwortskalen Einfluss auf das Antwortverhalten haben können. Hintergrund ist, dass negative Urteile von Befragten häufig vermieden werden. Demnach befinden sich Antworten eher auf der positiven Hälfte von Skalen. In diesem Zusammenhang wird vom positivity bias gesprochen. Demnach würden sich im Durchschnitt z.B. bei einer Skala von -5 bis +5 mehr Antworten auf der positiven Hälfte befinden als bei einer Skala von 0 bis 10.

Was die Frage im Hinblick auf die mögliche Verbalisierung der Skalenpunkte angeht, bestehen unterschiedliche Sichtweisen. Zwar sind numerische Werte präziser als verbale Benennungen, die häufig Raum für unterschiedliche Interpretationen lassen. Jedoch erscheinen verbale Skalenbezeichnungen natürlicher, da Bedeutungen im Alltag selten durch Zahlen ausgedrückt werden. Verbal benannte Skalenpunkte erläutern demnach eindeutiger die Bedeutung der Skalenpunkte und erhöhen somit die Leichtigkeit, mit der Personen antworten können. Unter Aspekten der Reliabilität sind verbale Skalenbenennungen also durchaus sinnvoll.

admin Allgemeines Tipps

Hallo liebe Uniparker!

Gemeinsam mit der Dualen Hochschule Baden-Württemberg (DHBW) Mannheim prämiert die Globalpark AG junge Wissenschaftler, die sich in ihrer betriebswirtschaftlich ausgerichteten Arbeit (Master-, Magister-, Diplom- bzw. Bachelorarbeit) mit anwendungsorientierter Online-Forschung im Marketing auseinandersetzen (bzw. auseinandergesetzt haben).

Eine ideale Gelegenheit für alle, die Ihre Studie von einer fachkundigen Jury bewerten und vielleicht sogar prämieren lassen möchten.

Die Preisträger werden auf dem 2. Symposium für anwendungsorientierte Online-Forschung (SymanO ’10) ausgezeichnet. Während des Symposiums können die Preisträger die zentralen Ergebnisse ihrer Studien einem hochkarätig besetzten Publikum (Wissenschaftler, Führungskräfte von Unternehmen) präsentieren.

Weitere Informationen zu den Teilnahmebedingungen, der Anmeldung sowie zur Dotierung der Preise findet Ihr auf der offiziellen Symano-Website: www.symano.de.

An alle, die sich bewerben – Viel Erfolg!
Euer Unipark Team

admin Veranstaltungen Veranstaltungen

Wir haben ja bereits in den vergangenen Wochen immermal wieder ein paar hilfreiche Tipps zur Umsetzung von Onlinebefragungen in den Blog gestellt. Daran anknüpfend haben wir Euch in dieser Woche folgend was zur Teilnehmer- & Antwortkontrolle bei Online-Umfragen zusammengestellt.

Im Rahmen von Online-Umfragen bestehen vielfältige Kontrollmöglichkeiten im Hinblick auf die Teilnehmer und Antwortoptionen. Im Wesentlichen bestehen Kontrollmöglichkeiten vor, während und nach einer Befragung.
Die Auswahl eines Umfragetyps – entweder personalisiert oder anonym- bestimmt vor dem Start einer Befragung, wer an der Umfrage teilnehmen kann: Jeder, der auf den öffentlichen Umfragelink klickt (anonym) oder lediglich diejenigen, die persönlich über eine Email zur Umfrage eingeladen wurden (personalisiert). Voraussetzung für die gezielte Einladung von Befragungsteilnehmern im Rahmen einer personalisierten Befragung ist das Vorliegen von persönlichen Emailadressen. Im Fall einer anonymen Umfrage kann über die Auswahl der Kommunikationskanäle, über die der Umfragelink veröffentlicht wird – z.B. Webseiten, Mailinglisten oder Twitter -, Einfluss auf die Zusammensetzung der Stichprobe genommen werden. Dazu ist jedoch Wissen über die Besucher von Webseiten bzw. Teilnehmer von Mailinglisten notwendig.
Eine Möglichkeit, die Zusammensetzung der Teilnehmergruppe während einer Umfrage generell zu beeinflussen, bieten Quotierungen und Filter auf Basis von Fragen zur Demografie (u.a. Geschlecht, Alter, Nationalität). Falls Befragungsteilnehmer aufgrund ihrer Demografie nicht zur Zielgruppe gehören, können sie im Rahmen von Online-Umfragen problemlos ausgescreent werden.
Auch das Antwortverhalten kann während der Befragung kontrolliert werden. Anhand von Plausibilitätschecks lässt sich das Antwortverhalten von Probanden auf Konsistenz & Plausibilität prüfen. Darüber hinaus kann inkonsistentes Antwortverhalten vermieden werden, indem entsprechende Antworten im Fragebogen als exklusiv gekennzeichnet werden, so dass konträre Antwortoptionen nicht gemeinsam ausgewählt werden können. Generell sollte bei geschlossenen Fragen immer die Antwortmöglichkeit „keine Angabe“ bestehen, um keine Antworten zu „erzwingen“ und demnach die Gefahr zu vermeiden, dass fälschliche, inkonsistente Antworten gegeben werden.
Um das Antwortverhalten im Anschluss an eine Befragung zu überprüfen, besteht die Möglichkeit, die Antwortzeiten zu analysieren, welche Probanden für die Beantwortung des gesamten Online-Fragebogens gebraucht haben. Dadurch können „Duchklicker des Fragebogens“ identifiziert werden und, im Zweifelsfall, die jeweiligen Datensätze aus der Betrachtung bzw. Analyse ausgeschlossen werden. Eine aufwendige Methode, Erhebungsdaten nach der Umfrage auf Reliabilität zu kontrollieren, ist die erneute Befragung einer Substichprobe. Dadurch wird festgestellt, inwieweit sich Antwortoptionen bei wiederholten Datenerhebungen unter gleichen Bedingungen duplizieren lassen und demnach zeitpunktunabhänig sind.

admin Allgemeines Tipps