Verbesserung der Datenqualität in Online-Umfragen: Zentrale Erkenntnisse des ReDem Quality Days
Am 19. Juni 2024 fand der erste internationale ReDem Quality Day statt. Diese internationale Online-Veranstaltung widmete sich einer umfassenden Untersuchung des drängenden Problems der sinkenden Datenqualität bei Online-Umfragen. Experten aus sechs verschiedenen Fachbereichen – Technik, Wissenschaft, Verbände, Institute, Online-Panels und Nutzer – teilten ihre Perspektiven, Erfahrungen, Sorgen und Lösungsvorschläge.
Erhöhte Unaufmerksamkeit der Befragten
Online-Umfragen bieten zahlreiche Vorteile, darunter Kosteneffizienz und Zeitersparnis, da sie schnell und unkompliziert erstellt und verteilt werden können. Heutzutage kann jeder von uns mit wenigen Mausklicks zum Survey Creator werden und Umfragen verschicken. Diese einfache Handhabung birgt jedoch auch erhebliche Nachteile. Oft fehlt es an fundiertem Wissen, um qualitativ hochwertige Fragebögen zu gestalten. Schlecht gestaltete Umfragen, die zu lang oder verwirrend sind, Logikfehler enthalten oder durch voreingenommene Fragestellungen auffallen, führen zu einer schlechten Nutzererfahrung. Dies frustriert die Befragten und führt letztlich zu unaufmerksamen und unzuverlässigen Antworten, insbesondere zu sogenanntem „Satisficing“-Verhalten. Satisficing tritt auf, wenn die Befragten Abkürzungen nehmen, um eine Umfrage schneller auszufüllen, oft durch die absichtliche Auswahl falscher Antworten.
Zudem verleiten die Anonymität und die angebotenen Anreize die Befragten oft dazu, Umfragen schnell und in großer Anzahl auszufüllen. Diese Faktoren verschärfen das Problem der unaufmerksamen und desinteressierten Befragten, was die Datenqualität erheblich beeinträchtigen kann. Daher ist es unerlässlich, Online-Fragebögen sorgfältig und durchdacht zu gestalten, um die Aufmerksamkeit der Befragten und somit die Zuverlässigkeit der Daten zu erhöhen. Malte Friedrich-Freksa von horizoom betont die Wichtigkeit, ein gutes Engagement und eine positive Erfahrung für Panelmitglieder zu schaffen. Er warnt, dass es ohne diese Bemühungen immer schwieriger sein wird, dass Personen gern ihre Meinung und ihr Wissen in Umfragen teilen.
Richtige Fragebogengestaltung
Die Redner des Internationalen Quality Days waren sich über die Wichtigkeit gut gestalteter Fragebögen einig. Oliver Hülser von NIQ/GfK betonte: „Gute Qualität beginnt mit dem richtigen Fragebogen.“ Ein gut durchdachter und professionell gestalteter Fragebogen ist unerlässlich, um das Satisficing-Verhalten der Befragten zu verringern. Die Integration gezielter Gegenmaßnahmen in die Umfragegestaltung kann dazu beitragen, die Aufmerksamkeit der Befragten zu erhöhen und zu verhindern, dass sie in den „Autopilot“-Modus schalten. Zudem ermöglichen solche Maßnahmen die Identifizierung unaufmerksamer Teilnehmer, beispielsweise durch gezielte Fangfragen.
Udo Wagner, Professor an der Universität Wien, präsentierte ein Framework mit vier Kategorien von Maßnahmen zur Bekämpfung von Satisficing in Online-Umfragen. Diese Kategorien werden in zwei Dimensionen unterteilt: direkte vs. indirekte und dedizierte vs. nicht-dedizierte Maßnahmen. Eine direkte und dedizierte Maßnahme (Kategorie 1) besteht beispielsweise darin, die Befragten aufzufordern, sich selbst als Entscheidungsträger vorzustellen und zu überlegen, inwieweit ihre eigenen Antworten berücksichtigt werden sollten in einer wichtigen Entscheidung. Auf der anderen Seiten wird in Kategorie 4 (indirekte und nicht-dedizierte Maßnahmen) die Zufriedenheit indirekt durch die Analyse von Antwortmustern bewertet. Dazu gehört die Überprüfung auf Ausreißer, mangelnde Konsistenz der Antworten oder übermäßige (unrealistische) Konsistenz. Für weitere Einblicke in die effektive Gestaltung von Fragebögen empfehlen wir die Präsentation von Udo Wagner.
Umfragebetrug
Eine weitere besorgniserregende Beobachtung, die die Sprecher des Quality Days teilten, ist der Anstieg von Umfrage Betrug und die zunehmende Schwierigkeit, diesen zu entdecken. Tia Maurer von P&G betonte, dass sie und ihr Team etwa 15-30 % der regelmäßig erhaltenen Marktforschungsdaten als betrügerisch einstufen. Dies erfordert einen erheblichen Aufwand für die Datenbereinigung, um betrügerische Aktivitäten zu identifizieren und aus den Daten herauszufiltern. Dieses Problem wird durch das Aufkommen von Klickfarmen und fortschrittlichen KI-Techniken, die das Ausfüllen von Umfragen in systematischer Art und Weise für betrügerische Aktivitäten zugänglich machen, weiter verstärkt. Interviews mit zwei Betrügern aus Bangladesch und Vietnam veranschaulichen, wie lukrativ Umfrage Betrug für Teilnehmer aus Entwicklungsländern sein kann. Durch die Teilnahme an unzähligen Umfragen und den Erhalt der ausgezahlten Anreize verdienen sie ein Vielfaches des durchschnittlichen lokalen Monatseinkommens.
Der moderne Umfragebetrug wird zunehmend schwieriger zu identifizieren, da viele technische Hürden leicht umgangen werden können. Betrüger nutzen Dienste wie TunnelBear, um ihre IP-Adresse zu verschleiern und ihren Standort zu ändern, wodurch sie an mehreren Umfragen teilnehmen können, die geografische Beschränkungen haben, und so mehrfach Anreize sammeln. Auch Fangfragen verlieren an Wirksamkeit: P&G hat beobachtet, dass Betrüger ihre Bots anpassen, sobald sie Fangfragen erkennen, und diese gezielt umgehen. Um betrügerisches Antwortverhalten zukünftig zuverlässig aufdecken zu können, ist eine ganzheitliche Prüfung der Umfragedaten unerlässlich.
Auswirkungen auf Forschungsergebnisse
Betrügerische Daten können schwerwiegende Konsequenzen haben. Laut dem 2023 Cybersecurity Ventures Cybercrime Report werden die jährlichen Kosten für Cyberbetrug, zu dem auch Umfragebetrug gehört, bis 2025 weltweit auf 10,5 Billionen Dollar geschätzt. Auf dem Quality Day präsentierte Tia Maurer ein eindringliches Beispiel einer gescheiterten Produkteinführung aufgrund unzuverlässiger Umfragedaten, die Kosten in Millionenhöhe verursachten. Die Pre-Launch-Daten einer klinischen Zahnpasta signalisierten eine hohe Nachfrage und starken Kaufwillen. Doch die Realität sah anders aus: Die Zufriedenheit der Kunden mit dem Produkt und die Absatzzahlen waren erschreckend niedrig. Eine genauere Analyse der Daten ergab, dass die Pre-Launch Ergebnisse alles andere als vertrauenswürdig waren. Die bereinigten Post-Launch-Daten offenbarten eine tatsächliche Kaufabsicht, die weniger als halb so hoch war, wie ursprünglich angenommen.
Lesen Sie hier weiter: Redem Quality Day 2024
