Repräsentativität von Umfragen

Was „repräsentativ“ bedeutet und warum der Begriff so wichtig ist

Es ist ein Wort, das in TV und Radio, Presse und den sozialen Medien so selbstverständlich ist wie die Wettervorhersage am Ende einer Nachrichtensendung: repräsentativ. Ein Begriff, der beruhigt. Ganz automatisch denkt man an Qualität und an Ergebnisse, denen man vertrauen kann. Denn „repräsentativ“ klingt nach wissenschaftlicher Strenge und nach einer seriösen Befragung, die ein verlässliches Bild davon liefert, wie die Bevölkerung in Deutschland tickt.

„Repräsentativität“ bei Umfragen bedeutet im Kern, dass eine relativ kleine Gruppe (die sogenannte „Stichprobe“) stellvertretend für eine deutlich größere Gruppe (die sogenannte „Grundgesamtheit“ oder umgangssprachlich „Zielgruppe“) steht, also zum Beispiel für die Wahlberechtigten in Deutschland. Kommt also eine bevölkerungsrepräsentative Umfrage zu dem Ergebnis, dass 75 Prozent der Personen in Deutschland ein bestimmtes politisches Vorhaben befürworten, dann wird dieses Vorhaben tatsächlich von einer breiten Mehrheit getragen.

Folgerichtig geht eine breite Mehrheit (81 Prozent*) der Personen in Deutschland auch davon aus, dass eine als „repräsentativ“ bezeichnete Umfrage die Meinungen unterschiedlicher Bevölkerungsgruppen in den richtigen Anteilen widerspiegelt. Fast genauso viele (72 Prozent*) betrachten „repräsentativ“ als Qualitätssiegel für die Richtigkeit von Umfrageergebnissen, und mehr als zwei Drittel (69 Prozent*) erwarten, dass bei repräsentativen Umfragen die befragten Personen zufällig ausgesucht werden.

(*) Die Ergebnisse stammen aus einer persönlichen Befragung (Face-to-Face) mit Zufallsauswahl aus der deutschsprachigen Bevölkerung ab 14 Jahren (1000 Fälle). Die Befragung wurde vom 9.9. bis 15.9.2024 vom Umfrageinstitut Ipsos im Auftrag des ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V. durchgeführt.

„Repräsentativität von Umfragen“ als PDF herunterladen

In der Markt- und Sozialforschung gilt eine Stichprobe und damit eine auf dieser Stichprobe basierende Umfrage als repräsentativ, wenn damit die definierte Grundgesamtheit/Zielgruppe unter Anwendung anerkannter Auswahl-, Gewichtungs- und Analyseverfahren angemessen abgebildet wird.

Was Repräsentativität in der Praxis wirklich bedeutet

Erfreulicherweise wird in den weitaus meisten Fällen der Begriff „repräsentativ“ auch korrekt verwendet, und man kann den Umfrage-Ergebnissen anerkannter Institute der Markt- und Sozialforschung vertrauen. In der Praxis gibt es klare Standards für repräsentative Umfragen, die erfüllt sein müssen:

Die Stichprobe muss die Zielgruppe, über deren Verhaltensweisen, Einstellungen, Meinungen, Urteile oder Motive Aussagen getroffen werden sollen, ihrer Zusammensetzung nach realistisch abbilden.
Voraussetzung ist, dass innerhalb dieser Zielgruppe grundsätzlich jede Person eine Chance hat, als Befragungsperson ausgewählt zu werden. Keine Teilgruppe darf von vornherein ausgeschlossen werden. Das wäre zum Beispiel der Fall, wenn eine Umfrage nur auf bestimmten Webseiten durchgeführt wird: Dann können nur Personen befragt werden, die genau diese Seiten besuchen – alle anderen haben nämlich keine Möglichkeit in die Stichprobe zu gelangen.
Die Auswahl der Befragten erfolgt nach festgelegten wissenschaftlichen Kriterien, entweder über ein systematisches Zufallsverfahren oder über eine Quotenauswahl (mit Vorgaben zum Beispiel nach Geschlecht, Alter, Bildung – hier sind die für das Forschungsthema jeweils relevanten Merkmale auszuwählen).
Der Hinweis auf Repräsentativität einer Studie muss immer auch damit einhergehen, zu benennen, für welche Zielgruppe dies gilt.

Nur wenn alle diese Kriterien erfüllt sind, ist die Voraussetzung gegeben, eine Umfrage oder ein Umfrageergebnis als „repräsentativ“ zu bezeichnen.

Natürlich muss eine Umfrage darüber hinaus auch noch weitere Qualitätskriterien erfüllen. Dazu gehören zum Beispiel eindeutig formulierte Fragen, anerkannte Gewichtungsverfahren, mit denen die Zusammensetzung der Befragungsstichprobe an die der Zielgruppe angepasst wird, sowie angemessene Auswertungen.

Auch die „Fallzahl“, also die Anzahl der befragten Personen, spielt bei Umfragen natürlich eine wichtige Rolle. Es ist jedoch ein Irrglaube, dass eine sehr große Fallzahl (mehrere Tausend oder sogar Zehntausende von Befragten) eine Garantie dafür ist, dass die Ergebnisse repräsentativ sind. Ausschlaggebend ist immer, wie die Stichprobe zustande gekommen ist und dass bei der Stichprobenbildung relevante Teilgruppen nicht systematisch ausgeschlossen wurden.

Wenn „repräsentativ“ draufsteht, aber nicht drinsteckt

Dennoch: Zwischen Anspruch und Wirklichkeit klafft mitunter eine erhebliche Lücke.

Es reicht nicht, einfach nur zu behaupten, eine Umfrage sei „repräsentativ“. Studien und Umfragen müssen diesen Anspruch auch tatsächlich einlösen. Fragwürdige Verwendungen finden sich leider an vielen Stellen: Passant*innenbefragungen, Produkttests im Fernsehen oder sogar komplett erfundene Daten („fake data“), die trotzdem als „repräsentativ“ etikettiert werden.

Gleichzeitig lässt sich an manchen Stellen beobachten, dass Ergebnisse ganz bewusst als „nicht-repräsentativ“ bezeichnet werden. Auf der einen Seite ist das ehrlich, denn damit wird klar, dass es sich bei diesen Umfragen nur um Stimmungsbilder oder erste Eindrücke handelt, nicht aber um generalisierbare Aussagen. Auf der anderen Seite besteht immer auch die Gefahr, dass solche Ergebnisse trotzdem wie harte Fakten behandelt werden, etwa in der öffentlichen Diskussion, in Politik oder Medien.

Alltagstest

Beispiele aus der Praxis

Eine Befragung zum Thema Rente wird telefonisch durchgeführt – auf Basis zufällig gezogener Festnetz- und Mobilfunknummern aus dem ADM-Stichprobensystem für Telefonstichproben, in dem alle theoretisch denkbaren Telefonnummern in Deutschland enthalten sind.

Alle Personen ab 14 Jahren können theoretisch erreicht werden. Solche Daten taugen als Grundlage für politische Entscheidungen.

Eine Tageszeitung bittet ihre Leser*innen auf der eigenen Webseite, möglichst zahlreich einen Fragebogen zum Thema Rente auszufüllen.

Obwohl mehr als zehntausend Leser*innen ihre Meinung äußern, ist das Ergebnis nicht repräsentativ für die Gesamtbevölkerung. Es haben nur Personen teilgenommen, die dem Aufruf der Tageszeitung gefolgt sind und sich für das Thema Rente interessieren. Alle anderen Bevölkerungsgruppen fehlen, sodass die Meinung der Gesamtbevölkerung nicht erfasst wird.

Eine Supermarktkette will die Wegeführung in den Märkten optimieren und befragt dafür jede*n zehnte*n Kund*in in zufällig ausgewählten Filialen und über alle Tageszeiten und Wochentage hinweg.

Die Ergebnisse bilden die tatsächliche Kundschaft der Kette und deren Meinung zur Wegeführung gut ab.

Passant*innen in einer Fußgängerzone werden an einem Wochentag vormittags zur Attraktivität der Innenstadt zum Einkaufen befragt.

Das Ergebnis spiegelt nur die Meinung derjenigen wider, die zu diesem Zeitpunkt dort unterwegs sind. Das ist aber kein Abbild der gesamten Bevölkerung. Wer zu dieser Zeit bei der Arbeit oder in der Schule ist, wird nicht gefragt, ebenso wenig wie alle Bevölkerungsgruppen, die zu diesem Zeitpunkt nicht in der Fußgängerzone unterwegs sind. Deren Meinung wird gar nicht abgebildet. Sie kann sich aber sehr von den Ansichten der in der Fußgängerzone Angetroffenen unterscheiden.

Der Goldstandard

Das ADM-Stichprobensystem

Für eine bundesweite Studie, zum Beispiel zur Mediennutzung oder zu politischen Fragen in der Bevölkerung, wird das ADM-Stichprobensystem als Grundlage genutzt, um repräsentative Befragungsstichproben zu ziehen.

Die Befragungspersonen werden dabei über mehrere Stufen zufällig ausgewählt. Hier ein Beispiel: Erst werden die Regionen per Zufall ausgewählt, dann Haushalte innerhalb der ausgewählten Regionen und schließlich die Befragungsperson im jeweiligen Haushalt. Die Interviews werden persönlich oder telefonisch mit den so ausgewählten Personen durchgeführt. Eine Mehrfachteilnahme an einer Befragung ist nicht möglich.

Alle Personen ab 14 oder 18 Jahren können so theoretisch erreicht werden. Durch die zufällige Auswahl und die Abdeckung aller Regionen und Bevölkerungsgruppen können die Ergebnisse gut auf die deutschsprachige Wohnbevölkerung übertragen werden und gelten als repräsentativ.

Mehr dazu beim ADM – Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V.

Transparenz

Wie du „repräsentative“ Studien erkennst

Grundsätzlich gilt: Die meisten Umfragen in Deutschland werden von anerkannten Instituten der Markt- und Sozialforschung durchgeführt und sind seriös. Ein kritischer Blick lohnt sich dennoch bei jeder Umfrage.

Wichtig ist zunächst, ob eine Befragung als „repräsentativ“ bezeichnet wird oder nicht. Fehlt dieser Hinweis, ist Skepsis angebracht. Nicht-repräsentative Ergebnisse können in gewisser Weise durchaus interessant sein, sie lassen sich aber nicht auf die Gesamtbevölkerung oder eine bestimmte Bevölkerungsgruppe übertragen und sollten niemals als harte Fakten behandelt werden.

Die gute Nachricht: Man muss keine besondere Expertise mitbringen, um einzuschätzen, ob eine Umfrage verlässlich ist. Mithilfe transparenter Informationen zur Studie kann man sich schnell ein eigenes Urteil bilden.

Bei als „repräsentativ“ gekennzeichneten Ergebnissen ist entscheidend, dass Angaben zur Anzahl der Befragten, zum Befragungszeitraum, zu Zielgruppe, Region, Auswahl der Zielpersonen und der Methode (telefonisch, online, persönlich) transparent zugänglich sind. Auch das durchführende Institut, der*die Auftraggeber*in und die genaue Fragestellung sollten benannt sein.

Fehlen solche Angaben oder sind sie unvollständig, sollte man skeptisch werden, denn Repräsentativität ist kein Gefühl, sondern eine überprüfbare Eigenschaft.

Liegen diese Informationen vor, lässt sich die Qualität einer Umfrage auch ohne spezielle Fachkenntnis einschätzen. Und je mehr Menschen verstehen, was „repräsentativ“ wirklich bedeutet, desto schwerer wird es, in der Öffentlichkeit mit manipulierten Zahlen Gehör zu finden.

Fazit

Genau hinsehen lohnt sich

Umfragen sollen helfen, bessere Entscheidungen zu treffen. Das gelingt aber nur, wenn die Daten verlässlich sind. Wer kritisch hinschaut, stärkt jene, die sauber und verantwortungsvoll arbeiten, und erschwert denjenigen das Handwerk, die mit zweifelhaften Zahlen Einfluss nehmen wollen.

Bei Verdacht auf unseriöse Befragungen kann man sich übrigens jederzeit an den Rat der Markt- und Sozialforschung e. V. oder dessen Servicestelle wenden.

Rat der Markt- und Sozialforschung e. V.