Unipark-Blog

Das Fragebewertungssystem von Faulbaum, Prüfer und Rexroth (2009) weist auf Probleme beim Beantworten von Fragen aufgrund schwieriger Berechnungen bzw. Schätzungen sowie komplexer mentaler Leistungen hin.

Eine schwierige Berechnung oder eine diffizile Schätzung zur Beantwortung einer Frage kann Probanden vor Probleme stellen, wenn die geforderte Aufgabe die kognitiven Fähigkeiten übersteigt oder der Aufwand zur Lösung der Aufgabe unangemessen hoch ist. Von daher sollte die Rechen- bzw. Schätzleistung im Rahmen von Fragen nicht zu schwierig sein, um (fast) jedem Befragungsteilnehmer das Beantworten der jeweiligen Frage zu ermöglichen. Im Rahmen eines Pretests lässt sich normalerweise gut überprüfen, ob das Gros der Probanden in der Lage ist, die jeweiligen Frage(n) zu beantworten. Dies gilt natürlich nicht für den Fall, wenn Befragungsteilnehmer aufgrund ihrer Rechen- bzw. Schätzleistungen klassifiziert werden sollen. Dabei werden Befragungsteilnehmern in der Regel mehrere Leistungen unterschiedlicher Schwierigkeit abverlangt, um sie letztlich entsprechend ihrem Leistungsniveau zu gruppieren.

Neben dem Berechnen oder Erinnern beeinflussen weitere persönliche mentale Leistungsfähigkeiten das Beantworten von Fragen. Dazu gehört u.a. die Fähigkeit, Sachverhalten miteinander zu verknüpfen oder sich alltagsferne Ereignisse und Sachverhalte vorzustellen. Dies gilt vor allem im Zusammenhang mit einer Befragungsart, bei welcher dem Befragungsteilnehmer keine visuellen Hilfen zum unterstützenden Frageverständnis angeboten werden können (bspw. bei Telefonumfragen) oder der Fragetext nicht beliebig wiederholt werden kann. Dies sollte bei jeder Fragengestaltung berücksichtigt werden, indem nicht allzu lange Fragetexte mit nicht allzu vielen komplizierten Informationen gestellt werden, um den Probanden nicht zu überfrachten. Nur dann ist gewährleistet, dass er auch in der Lage ist, die gegebenen Informationen zu verarbeiten und im Anschluss eine adäquate Antwort zu geben. Auch hier kann eine Pretest Abhilfe schaffen und jene Fragen identifizieren, die den Probanden aufgrund schwer verständlicher Fragen Probleme beim Beantworten bereiten.

Eine gute Möglichkeit Pretest-Kommentare zu gewinnen bietet die Teilnahme am Unipark Pretester-Pool.

admin Allgemeines Tipps

Nachdem im letzten Blogbeitrag zum Fragebewertungssystem (vom 31.08.10) Probleme im Zusammenhang mit Wörtern und Texten vorgestellt wurden, geht es im Folgenden um eine weitere Fehlerquelle - systematische Fehler aufgrund unzutreffender Annahmen über Befragte und schwierige Erinnerungsleistungen.

Wenn eine Frage von unzutreffenden Annahmen über Merkmale bzw. Verhaltensweisen von Befragten ausgeht, kann es aufgrund einer falschen Interpretation der Frage zu Verzerrungen im Antwortverhalten kommen.
Wenn bspw. nach der Häufigkeit eines Ereignisses gefragt wird (z.B. Wie oft kaufen Sie Lebensmittel mit niedrigem Salzgehalt in einem Reformhaus?) und die Antwortmöglichkeiten von „immer“ bis „nie“ reichen, drückt letztere im Zweifelsfall keine intendierte Häufigkeit aus, sondern vielmehr den Fall, dass jenes Ereignis auf die Befragungsperson gar nicht zutrifft. In diesem Fall ist „nie“ nicht als Häufigkeit anzusehen, sondern als Verneinung zu eben jenem Ereignis. Der Fehler im Rahmen der Auswertung rührt daher, dass bei der Berechnung der prozentualen Anteile der Häufigkeitskategorien im Fall der Antwort „nie“ auch die „trifft nicht zu“ – Fälle mit einbezogen werden. Aus diesem Grund macht es in einem solchen Fall mehr Sinn eine weitere Antwortkategorie, wie „trifft für mich nicht zu“, mit aufzunehmen.

Ein weiterer systematischer Fehler kann im Zusammenhang mit schwierigen Erinnerungsleistungen auftreten. In diesen Fällen kann es passieren, dass bei der Erhebung retrospektiver Daten vom Proband lediglich eine grobe Schätzungen abgegeben wird oder gar keine Erinnerungsleistung erbracht werden kann, weil sie zu schwierig ist (bspw. weil der zurückliegende Zeitpunkt zu lange her ist oder der zurückliegende Zeitrahmen zu lang ist). Erinnerungsfragen können unterschiedliche Arten von Daten erheben. Die Wichtigsten sind:

• Fragen zur Datierung von Ereignissen („Wann fand das Ereignis statt?“)
• Fragen zu Zeitdauern („Wie lange dauerte das Ereignis?“)
• Fragen nach Zeiträumen, die seit dem Eintritt des Ereignisses vergangen sind („Wie viel Zeit ist seit dem Ereignis vergangen?“)
• Fragen nach der Ereignishäufigkeit („Wie oft ist das Ereignis eingetreten?“)

Diese Art von Fehler wird im Regelfall umso größer, je weiter das betreffende Ereignis zurückliegt. D.h., die Genauigkeit sowie die Zuverlässigkeit der gelieferten Information werden in diesen Fällen beeinträchtigt. Zur Stützung des Erinnerungsvermögens des Probanden können gut erinnerbare Ankerpunkte, wie bspw. Weihnachten oder Geburtstage, gesetzt werden. Ferner können im Vorfeld wichtige persönliche Ereignisse vom Probanden erfragt werden, um dadurch eine bessere Orientierung zu ermöglichen. In jedem Fall sollte bei Fragen dieser Art, immer eine zusätzliche Antwortkategorie „Kann mich nicht erinnern“ beigefügt werden, um dem Probanden eine Ausschlussmöglichkeit anzubieten.

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S. 155 ff

admin Allgemeines Tipps

Durch eine Kooperation von Globalpark mit der Firma CHE Consult, die im übrigen auch für das deutsche Hochschulranking verantwortlich zeichnet, hatte Unipark die Möglichkeit an der diesjährigen Generalversammlung der Compostela Group of Universities (CGU) teilzunehmen.

Die CGU ist ein Verbund von 73, zumeist spanisch-sprachigen, Hochschulen aus 21 verschiedenen Ländern mit insgesamt rund 1,5 Mio. Studierenden. Ziel der CGU ist es, Netzwerke zwischen Hochschulen zu knüpfen, den Austausch untereinander zu fördern und die teilnehmenden Hochschulen wettbewerbsfähig zu machen. Neben den Hochschulmitgliedern sind auch einige Unternehmen aus dem Bereich der Higher Education Teil der CGU, so auch Globalparks Kooperationspartner CHE Consult.

Im Rahmen der diesjährigen Veranstaltung hatte Unipark die Gelegenheit, sich selbst sowie das University Feedback Management (UFM) vorzustellen. UFM ist Globalparks Software Suite mit der sich alle Feedbackprozesse in der Organisation Universität realisieren lassen, sei es im Bereich des Personalmanagements, des Qualitätsmanagements, der Kunden- (Studenten-) befragung oder einem anderen relevanten Bereich.

Das Programm der zweitägigen Konferenz war gespickt mit Highlights, von der Verleihung des Compostela Awards an den Nobelpreisträger Dr. Mohammed ElBaradei über ein gemeinsames Galadinner bis hin zu einem Empfang beim Bürgermeister von Santiago de Compostela.

Neben all den offiziellen Terminen wurde zudem insbesondere darauf geachtet, dass ausreichend Zeit für den Austausch der Teilnehmer untereinander zur Verfügung stand.

Unipark konnte diese Zeit nutzen, um neue Kontakte nach Spanien, Portugal, Mexico, Litauen und Rumänien zu knüpfen und sich mit Rektoren und Leitern der entsprechenden Internationalisierungsabteilungen auszutauschen.

Die Generalversammlung der CGU war insgesamt eine sehr gelungene Veranstaltung, auf die sich in der Zukunft aufbauen lässt.

admin Allgemeines

Nachdem im Blogbeitrag vom 23.08.10 das Fragebewertungssystem von Faulbaum, Prüfer und Rexroth (2009) dargestellt wurde, geht es im Folgenden Beitrag um die erste Kategorie der FBS-Checkliste – Probleme mit Worten und Texten.

Die im Sinne des Umfrageforschers korrekte inhaltliche Deutung einer Frage und Antwort ist für die Messung eines spezifischen Konstrukts unabdingbare Voraussetzung. Wenn der Befragte hingegen eine Frage nicht entsprechend der Intention des Umfrageforschers versteht, misst die Frage etwas anderes als beabsichtigt. Dies gilt es zu vermeiden, so dass der Befragte der Frage eindeutig entnehmen kann, welche Leistung von ihm verlangt wird.

Wenn ein Fragetext Worte oder Formulierungen mit vager bzw. unklarer Bedeutung enthält, kann es passieren, dass eine Frage nicht von allen Befragten in gleicher Weise verstanden wird.
Beispiele hierzu sind:

• Bezeichnungen mit unklarer Referenz
• Worte, die keine genaue Datierung des Zeitpunkts eines Ereignisses ausdrücken
• Worte, die eine Ungenauigkeit der Häufigkeit (immer, häufig, manchmal) , Intensität (stark, groß, ernst, leicht) oder Menge (fast, alles, einige) ausdrücken

Eine Frage, welche inhaltlich verschiede Sachverhalte anspricht, unterbindet eine Antwortdifferenzierung, so dass Befragte dazu gezwungen werden, mehrere Sachverhalte zusammen zu beantworten. Fragen, welche diesen Konstruktionsfehler beinhalten, lassen sich daran erkennen, dass Fragen/ Aussagen mit unterschiedlichen Begriffen/ Inhalten mit Wörtern wie „und“, „sowie“, „oder“, „weil“ verbunden sind.
Ein weiteres Problem besteht darin, dass der inhaltliche Fokus des Einleitungstexts nicht dem der Frage/ Aussage entspricht. Dies kann dazu führen, dass die Frage/ Aussage vom Befragten nicht so verstanden wird, wie sie verstanden werden soll.

Antworten auf hypothetische Fragen sind oftmals wenig valide, da sie sich nicht auf gemachte, reale Erfahrungen beziehen und sie demnach für den Befragten schwieriger zu beantworten sind. Somit sollte diese Art von Fragen nur dann gestellt werden, wenn sie auch tatsächlich erforderlich sind. Bspw. im Hinblick auf Zukunftsvorstellungen, Zukunftsängsten oder Plänen.
Ferner sollten komplexe Fragen bzw. Aussagen vermieden werden, da sie für den Befragten eine größere mentale Belastung mit sich bringen. Demnach sollten vielmehr einfache, wenig umgangssprachliche Formulierungen verwendet werden. In diesem Zusammenhang gilt es ebenfalls zu betonen, dass Fremdwörter oder Fachausdrücke, welche für den Befragten vielleicht unbekannt sind, vermieden werden sollen. Genau so sollte auf Abkürzungen und seltene Symbole verzichtet werden, um sicher zu stellen, dass alle Befragten die Fragen und Antworten ohne Probleme verstehen.

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

Globalpark hat sich entschieden Lab Versionen von kommenden Software-Features frühzeitig ausgewählten Nutzern zur Verfügung zu stellen. Diese experimentellen Features sollen unseren Nutzern die Möglichkeiten bieten ihre Ideen und Vorschläge mit in den Entwicklungsprozess einfließen zu lassen. Die Lab Version bildet dabei immer nur die erste Stufe des Entwicklungsprozesses, so dass der Nutzer mit seinem Feedback entscheidende Weiterentwicklungen der Software mitgestalten kann.

Warum Unipark?
Uniparker gehören zu den experimentierfreudigsten Nutzern und geben uns wertvolle Hinweise unsere Produkte weiterzuentwickeln. Innerhalb der Unipark-Community findet ein reger Austausch über Ideen und Vorschläge zur Weiterentwicklung der Software statt. Vor diesem Hintergrund wollen wir nun im Rahmen von frühzeitig veröffentlichten Lab Versionen diese Ideen und Anregungen aufnehmen und in der Software umsetzten.

Was können Sie von Lab Versionen erwarten?
Mit der frühzeitigen Veröffentlichung neuer Features und Produkte erhoffen wir uns ein gezieltes Feedback der Nutzer. Mit Lab Versionen wollen wir Ideen vorstellen und dem Nutzer das Ausprobieren neuer Software-Features ermöglichen. Lab Versionen sind keine ausgereiften Globalpark-Produkte und stehen dem Nutzer nur für einen begrenzten Zeitraum zur Verfügung. Sie laden zum Ausprobieren und Experimentieren ein.

Wie können Sie die Software weiterentwickeln?
Mit Ihren Kommentaren und Hinweisen können wir die Software gezielt weiterentwickeln und gemeinsam neue Standards setzen. Nutzen Sie daher die Möglichkeit uns Feedback über das neue Feature zukommen zu lassen. In jeder Lab Version besteht die Möglichkeit, uns schnell und einfach Feedback zuzusenden. Helfen Sie uns, innovative Ideen zufördern und allen Nutzern zur Verfügung zu stellen. Ihr Feedback zu Lab Versionen ist ein wichtiger Bestandteil des Entwicklungsprozesses. Für jeden einzelnen Beitrag sind wir Ihnen dankbar.

Die erste Lab Version wird das EFS Reporting betreffen und für alle Uniparker exklusiv ab dem 13.09.2010 für 12 Wochen zur Verfügung stehen.

Weitere Informationen zum EFS Reporting Lab finden Sie hier.

admin Allgemeines Community

Nachdem ein Fragebogen erstellt wurde, geht es für den Umfrageautor im nächsten Schritt darum, den Fragebogen auf Fehler und Unklarheiten zu testen. Somit wird die Qualität der Fragen sowie letztlich die der gewonnenen Ergebnisdaten sichergestellt.

Dazu haben Faulbaum, Prüfer und Rexroth (2009) ein Bewertungssystem zur Qualitätsüberprüfung einzelner Fragen entwickelt. Das Fragebewertungssystem (FBS) ermöglicht dem Umfrageautor eine kritische Auseinandersetzung über Form und Inhalt jeder einzelnen Frage eines Fragebogens. Demnach handelt es sich primär um ein Evaluationsinstrument, das Verbesserungsbedarf bei einzelnen Fragen identifiziert, aber auch aufgrund einer detaillierten Problembeschreibung Ansätze zur Problembeseitigung liefert.

Das FBS von Faulbaum, Prüfer und Rexroth (2009) besteht aus einer Art Checkliste, in der Probleme bzw. Fehler, z.B. im Hinblick auf das Verstehen des Fragetextes und seiner Teile oder die im Fragetext beschriebenen Aufgaben, in Oberkategorien zusammen gefasst sind. Die Checkliste gibt dem Umfrageautor ein Instrument an die Hand, jede einzelne Frage des Fragebogens dahingehend zu prüfen, welche der dort aufgeführten Probleme auf die Frage zutreffen.

Zwar wurde im Zuge der Entwicklung des FBS dem aktuellen Stand der Forschung im Bereich der Fragebogenkonstruktion und –evaluation Rechnung getragen, um möglichst alle Problemtypen mit zu berücksichtigen, jedoch erhebt das FBS keinen Anspruch auf Vollständigkeit. Somit kann die Anwendung des FBS die Durchführung eines Pretests zur Überprüfung der Fragequalität – insbesondere des Frageverständnisses – nicht ersetzen.

Im Folgenden werden die einzelnen Oberkategorien des FSB dargestellt. Danach erfolgt jede Woche im Unipark Blog eine konkrete Beschreibung einer Oberkategorie mit Beispielen zur Veranschaulichung.
Die FBS-Checkliste im Überblick:

I. Probleme mit Worten/ Texten
II. Unzutreffende Annahmen über Befragte
III. Erinnerungsvermögen
IV. Berechnung/ Schätzung
V. Komplexität der mentalen Leistung
VI. Nicht intendierte Nebeneffekte
VII. „Weiß-nicht“-Kategorie bei Einstellungsfragen
VIII. Kontext der Frage/ Fragensukzession
IX. Antwortvorgaben/ Antwortskalen
X. Offene Fragen
XI. Probleme im Zusammenhang mit der Aufgabenbeschreibung in selbst-administrierten Fragen

Aus: Faulbaum, Frank/ Prüfer, Peter/ Rexroth, Margrit: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, Wiesbaden 2009, S.111 ff.

admin Allgemeines Tipps

4. August 2010: Ein Blumenkübel geht um die Welt. Trending Topic bei Twitter ist der Begriff #Blumenkübel. Wie konnte es dazu kommen und was haben Online-Umfragen damit zu tun?

Wir sind immer wieder fasziniert davon, wie schnell über Twitter Nachrichten verbreitet werden. In dieser Woche zeigte sich, dass auch Sommerloch-Themen Ihren Platz bei Twitter bekommen können.

Mehr…

admin Allgemeines Studien

Bei der Umsetzung einer Online Befragung gilt es grundsätzliche Aspekte einer ordentlichen Fragebogenerstellung zu berücksichtigen, um gute Ergebnisse zu erzielen. Sie geben dem Umfrageautor wichtige Hinweise im Hinblick auf die Kontaktherstellung zu den Umfrageteilnehmern, die Kommunikation, die Gestaltung des Online Fragebogens und die Kontrolle der Antworten.

Bei der Kontaktherstellung im Rahmen einer anonymen Befragung über ein Pop-up sollte beachtet werden, dass Pop-ups, welche sich wesentlich von der Internetseite unterscheiden, auf der sie platziert sind, generell weniger Aufmerksamkeit bekommen als diejenigen, die im selben Layout gestaltet sind. Dies hängt im Wesentlichen damit zusammen, dass letztere nicht als Fremdkörper der Seite bzw. Werbeinformation wahrgenommen werden. Der Text eines Pop-ups genauso wie jener einer Einladungsmail im Rahmen einer personalisierten Befragung sollte übersichtlich und knapp gehalten werden. Er sollte kurz skizzieren, worum es bei der Befragung geht, wie lange sie dauert und, dass die Angaben streng vertraulich behandelt, anonymisiert ausgewertet und nicht an Dritte weitergegeben werden. Auch die Angabe einer Kontaktadresse bürgt für Seriosität des Umfrageanbieters.

Während der Online Befragung ist es sehr entscheidend, dem Umfrageteilnehmer Glaubwürdigkeit zu vermitteln. In dem Fall einer Online Befragung ist Glaubwürdigkeit äußerst wichtig, denn sobald ein Umfrageteilnehmer das Gefühl bekommt, dass die Umfrage nicht den propagierten Zweck verfolgt, wird er die Umfrage sofort abbrechen. Demnach sollte der Befragte offen und ehrlich angesprochen werden, wozu neben einer eindeutigen und klaren Einladungsmail bzw. Pop-up eine einleitende Willkommensseite zur Umfrage gehört, auf der kommuniziert wird, was den Befragten erwartet und welche Kenntnisse/ Erfahrungen er im Zweifelsfall zur Beantwortung der Fragen mitbringen muss. In diesem Kontext ist auch die Kommunikation von realistischen Antwortzeiten während der Befragung relevant. Hierzu genügt die Anzeige eines Fortschrittsbalkens in der Befragung, welcher signalisiert, wie viele Fragen der Umfrage bereits beantwortet wurden.

Ferner ist darauf zu achten, dass dem Befragungsteilnehmer während der Umfrage nicht bloß stur Fragen entlockt werden, sondern vielmehr, dass der Befragungsteilnehmer den Eindruck einer unterhaltsamen, interessanten Umfrage hat. Dazu helfen eine Portion Kreativität und grundsätzliche Tipps in Bezug auf die Fragebogenerstellung, wie bspw. Fragendopplungen zu vermeiden und abwechselnde Fragetypen, innovative Flash-Fragetypen und Multi-Media-Elemente einzusetzen.
Ähnliches gilt auch für das Fragebogenlayout Ihrer Umfrage. Es darf nicht langweilig sein, sondern sollte die Zielgruppe ansprechen. Vorrangig dabei sind jedoch die Lesbarkeit der Fragen und eine schnelle und einfache Navigation durch den Fragebogen, so dass Scrollen grundsätzlich vermieden werden sollte.

Im Hinblick auf die Datenqualität ist es von Bedeutung, Eingaben der Nutzer anhand von Plausibilitätschecks zu kontrollieren. Diese prüfen, ob Antworten bereits vorher gemachten Eingaben entsprechen. Somit kann gewährleistet werden, dass ein stringentes Antwortverhalten der Befragungsteilnehmer vorliegt.
Insgesamt sollte ein Fragebogen kurz gehalten werden, da Befragungspersonen die Umfrage in der Regel neben ihrer primären Tätigkeit ausführen und somit nur begrenzt Zeit haben. Deshalb ist es für die Datengewinnung nicht sonderlich förderlich, überlange Fragebögen zu präsentieren. Es sollten lediglich diejenigen Fragen eingesetzt werden, die einen tatsächlichen Beitrag zur Zielsetzung der Studie leisten. Ferner ist in diesem Zusammenhang das Einbinden von Filterfragen in Abhängigkeit zuvor beantworteter Fragen eine Option. Damit können bestimmte Fragen ausschließlich gewissen Personen angezeigt werden.

admin Allgemeines Tipps