Wie verlässlich sind eigentlich Studien?
Nachgefragt
Berechtigte Frage. Nicht zuletzt, weil wir im Zeitalter von Social Media und Fake News gelernt haben, unsere Datenkompetenz zu trainieren, also „Studienergebnisse“ auch mal kritisch zu hinterfragen und sie auf ihren Kontext und ihre Quelle zu prüfen. In diesem Beitrag nehmen wir die Verlässlichkeit von Studien unter die Lupe und schauen uns an, welche Probleme bei der Datenerhebung zu falschen Ergebnissen führen können und wie man diese verhindern kann.
Die Datenerhebung ist immer noch ein zentrales Element bei der Durchführung von Forschungsprojekten und Studien. Kommt es zu Fehlern in der Datenerhebung, können diese Ergebnisse verfälschen und die Interpretation der Daten beeinträchtigen oder gar unmöglich machen.
Sind Antworten immer ehrlich?
In Umfragen kann es immer wieder passieren, dass Befragte ihr „Gesicht wahren“ wollen und Antworten geben, mit denen sie sich nicht „blamieren“. Zum Beispiel, wenn Fragen zu persönlich sind, wenn sie die Antwort nicht wissen oder wenn sie ihre eigentliche Meinung nicht preisgeben möchten und daher eine sozial erwünschte Antwort geben.
Ein Kreuz mit diesen Kreuzen!
Aussagen anhand einer Skala zu bewerten, kennt jeder von uns. Nur haben wir alle ein anderes Ermessen, WIE wir Dinge bewerten. Während einige von uns dazu neigen, eher Extremwerte anzukreuzen, setzen andere ihr Kreuz lieber im mittleren Bereich. Wieder andere setzen zu Beginn der Fragen ihre Kreuze sehr streng, werden aber im Verlauf der Befragung in ihrer Bewertung „milder“, weil sich durch die folgenden Fragen der Kontext verschiebt und damit auch ihr Bewertungskompass.
Es kommt auch vor, dass Befragte die Befragung nicht ernst genug nehmen. Sie kreuzen z.B. bei Selbstausfüllerinterviews in Mustern an, ohne die Frage genau zu lesen.
Aber kann man all das vermeiden? Sicherlich nicht gänzlich, aber es gibt eine Vielzahl von Möglichkeiten, um solche Einflüsse zu erkennen und zu vermeiden. So haben die Umfrageinstitute in der Regel umfangreiche Prüfmechanismen installiert, die z. B. Antwortmuster und zu schnell abgeschlossene Interviews erkennen. Zudem werden Fragestellungen und Skalen normalerweise von Expert*innen entwickelt, um sozial erwünschte Antworten zu vermeiden.
Wie steht’s um Objektivität, Reliabilität und Validität?
Objektivität, Reliabilität und Validität sind die grundlegenden Bedingungen bei der Datenerhebung, um sicherzustellen, dass die gesammelten Daten zuverlässig und aussagekräftig sind. Dies gilt insbesondere bei Umfragen, auf dessen Basis repräsentative Aussagen für eine bestimmte Gruppe getroffen werden sollen.
Objektivität bezieht sich auf die Unvoreingenommenheit des Datensammlers. Es ist wichtig, dass die Daten ohne Beeinflussung durch persönliche Vorurteile, Meinungen oder Vorlieben erhoben werden.
Reliabilität bezieht sich auf die Konsistenz und Stabilität der Daten. Eine zuverlässige Messung sollte bei wiederholter Durchführung ähnliche Ergebnisse liefern. Dies ist wichtig, um sicherzustellen, dass die Ergebnisse der Studie tatsächlich das Phänomen widerspiegeln, das untersucht wird.
Validität bezieht sich auf die Gültigkeit der Daten. Eine valide Messung sollte tatsächlich das Phänomen erfassen, das untersucht werden soll, und keine anderen Faktoren, die das Ergebnis verzerren könnten. Es ist wichtig sicherzustellen, dass die Messung nur das erfasst, was es erfassen soll, um fundierte Schlussfolgerungen zu ziehen.
Keine Sorge: Klare Vorgaben regeln die Qualitätssicherung von Studien
Bevor ihr jetzt ernsthafte Zweifel bekommt: wir haben gute Nachrichten für euch. In Deutschland gibt es klar festgelegte Standards zur Qualitätssicherung. Sie bilden den Kern der Wissenschaftlichkeit von Markt- und Sozialforschung.
So unterliegen Markt- und Sozialforscher*innen, die Mitglieder in den deutschen Markt- und Sozialforschungsverbänden sind, sehr hohen Qualitätsstandards mit dem Ziel, sich an höchster Forschungsqualität zu orientieren. Diese Standards umfassen den gesamten Forschungsprozess und stellen einen Orientierungsrahmen für Institute und Auftraggeber dar. Sie dokumentieren und beschreiben die qualitätsrelevanten Erfordernisse der einzelnen Schritte des Forschungsprozesses.
Diese Arbeitstandards gelten für alle Mitglieder der folgenden Verbände:
- ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V.
- Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e. V. (ASI)
- BVM Berufsverband Deutscher Markt- und Sozialforscher e. V.
- Deutsche Gesellschaft für Online-Forschung – DGOF e. V
Kurzum: Die dort verabschiedeten Standards ergeben einen Katalog von verbindlichen Zielen, die es zu erreichen gilt, um die Qualität von Forschungsergebnissen sicherzustellen. Für valide Studien, auf die sich sowohl die Auftraggeber als auch wir Bürger*innen und potenzielle Nutznießer*innen verlassen können.
Quelle: Universität Würzburg