Alleen een bevraging waarvan de deelnemers willekeurig gekozen worden, geeft betrouwbare resultaten. Een online-peiling naar kiesintenties bij slechts duizend Vlamingen heeft, gelet op de grote foutmarge, weinig waarde.

‘Opnieuw de grootste partij – N-VA beloond door kiezer’. Onder die kop sleet Het Laatste Nieuws op zaterdag 13 december de jongste ‘Grote Peiling’ die de krant, samen met VTM, Le Soir en RTL, driemaandelijks door Ipsos laat uitvoeren.

Zoals gebruikelijk waren de resultaten van de peiling naar de kiesintenties al de avond voordien bekendgemaakt. MR-voorzitter Georges-Louis Bouchez, wiens partij op 21,4 procent strandde (6,8 procentpunten minder dan bij de verkiezingen van 9 juni 2024), kon ze in De Afspraak op vrijdag al de grond in boren. Drieënhalf jaar vóór de verkiezingen heeft een peiling volgens hem geen enkele waarde. ‘Het is alsof je op basis van een vriendenmatch tegen Nicaragua zou voorspellen wie over drieënhalf jaar wereldkampioen voetbal wordt’. Open Vld-voorzitter Frédéric De Gucht bekeek het anders en zag zijn partij weer uit het dal klimmen: ‘Een stijging van 5,7 naar 7,1 procent is wel een toename met 24 procent’.

Wiskunde

Wat is een opiniepeiling in het algemeen en een peiling naar de kiesintenties als die van HLN/VTM in het bijzonder nu eigenlijk waard? Men zou het haast vergeten, maar opiniepeilingen maken gebruik van kans- of waarschijnlijkheidsrekening, een tak van de wiskunde. Je kan ermee berekenen hoeveel kans er is dat de zes cijfers op jouw Lottoformulier uit de ballentrommel rollen (antwoord: één op 8.145.060 trekkingen).

Het verschil met de stemcijfers toont niet voor het eerst aan dat met kiesintentiecijfers omzichtig omgegaan moet worden

De waarschijnlijkheidstheorie werd in de jaren 30 in de Verenigde Staten voor het eerst toegepast om verkiezingsuitslagen te ‘voorspellen’. De doorbraak van de opinion poll kwam in 1936. Met een volgens wetenschappelijke methodes gevoerde enquête bij 50.000 Amerikanen riep George Gallup de Democraat Franklin Roosevelt vooraf tot winnaar van de presidentsverkiezingen uit. Het weekblad The Literary Digest had uit 2,4 miljoen teruggestuurde (van de 10 miljoen, vooral naar lezers verstuurde) vragenlijsten afgeleid dat de Republikein Alf Landon president zou worden.

Vuilnisbak

Publiek opinieonderzoek probeert de mening of houding van een grote groep mensen (de populatie) te kennen door een deel van die groep (de steekproef) te ondervragen. Dat het makkelijker is de uitslag van een presidentsverkiezing met twee kandidaten te ‘voorspellen’ dan het resultaat van tien of meer partijen bij een parlementsverkiezing, ligt voor de hand.

Bouchez herinnerde er in De Afspraak op vrijdag aan dat zijn MR een week voor de verkiezingen van 9 juni 2024 op 23 procent werd gepeild, maar 30 procent van de stemmen kreeg. De HLN/VTM-peiling die op 3 en 4 juni was gehouden, gaf het Vlaams Belang 25,8% procent en de N-VA 21 procent. Van de Vlamingen stemden er enkele dagen later ‘slechts’ 21,8 procent VB en ‘liefst’ 25,6 procent N-VA.

Kranten maken zelden of nooit melding van het betrouwbaarheidsniveau van peilingen

‘Alle peilingen mochten de vuilnisbak in’, schreef algemeen hoofdredacteur Isabel Albers van De Tijd in haar verkiezingscommentaar. Het verschil met de stemcijfers toonde niet voor het eerst aan dat met kiesintentiecijfers omzichtig omgegaan moet worden.

Betrouwbaarheid

Nogmaals: peilingen behoren tot de waarschijnlijkheidsrekening. Ze kunnen nooit met 100 procent zekerheid de mening of houding van een grote groep mensen weergeven. In de regel heeft een publiek opinieonderzoek een betrouwbaarheid van 95 procent. Je kan met 95 procent zekerheid zeggen dat het stemgedrag van de steekproef (bijvoorbeeld: 52 procent kiest kandidaat A) representatief is voor de populatie. Er is dus 5 procent kans dat het geheel van de kiezers anders stemt dan die van de steekproef. In hun berichtgeving over opiniepeilingen maken kranten zelden of nooit melding van dat betrouwbaarheidsniveau.

Foutenmarge

Het betrouwbaarheidsniveau hangt af van de grootte van de steekproef. Dat is ook en nog meer het geval voor de foutenmarge. Als 52 procent van de respondenten zegt kandidaat A te kiezen, moet je bij de extrapolatie naar het voltallige kiezerskorps een slag om de arm houden. Bij een foutenmarge van 2 procentpunten kan en moet je zeggen dat er 95 procent kans is (betrouwbaarheidsniveau) dat 50 tot 54 procent van de kiezers op kandidaat A stemt. De waarschijnlijkheidsrekening leert dat je voor een foutenmarge van 2 procentpunten 2000 mensen moet ondervragen.

Om een foutenmarge van 1 procentpunt te verkrijgen, moet je 9600 Vlamingen ondervragen. Blijkbaar is dat helemaal onbetaalbaar …

In de ‘Grote Peiling’ van HLN/VTM is de foutenmarge voor Vlaanderen en Wallonië 3,1 procentpunten, voor Brussel zelfs 4 procentpunten. Als volgens de peiling 25,6 procent van de kiezers zegt N-VA te stemmen, is dat van alle Vlaamse kiezers minimaal 22,5 procent en maximaal 28,7 procent. Dat interval valt voor ruim de helft samen met dat voor het Vlaams Belang: minimaal 20,8 procent en maximaal 27 procent (bij een peilingresultaat van 23,9 procent). Het is zelfs mogelijk dat, indien er zondag verkiezingen zouden zijn, niet de N-VA maar het VB de grootste partij is.

Dat de foutenmarge 3,1 procentpunten bedraagt, komt omdat Ipsos slechts 1000 Vlamingen heeft ondervraagd. Dat is eenvoudiger en goedkoper dan er 2000 ondervragen. Om een foutenmarge van slechts 1 procentpunt – en dus meer significante peilingresultaten – te verkrijgen, moet je 9600 Vlamingen ondervragen. Blijkbaar is dat helemaal onbetaalbaar …

Representatief

De grootte van de steekproef zegt nog niets over de kwaliteit ervan. Een enquête bij 2000 West-Vlaamse mannen van 30 tot 40 jaar is waardeloos als je de kiesintenties van alle volwassen Vlamingen wil kennen. Een steekproef moet representatief zijn voor de populatie. Een toevalssteekproef, waarbij alle ‘leden’ van de populatie dezelfde kans hebben geselecteerd te worden, biedt daar de hoogste garantie voor.

Statistiek Vlaanderen trekt voor zijn halfjaarlijkse bevraging uit het Rijksregister bijvoorbeeld de naam van 6000 Vlamingen van 18 jaar en ouder. Minder omslachtig en goedkoper zijn quota-steekproeven. De populatie wordt naar geslacht, leeftijd en woonplaats (en soms nog andere criteria) opgedeeld in subgroepen. In verhouding tot hun aandeel in de bevolking wordt voor elke subgroep bepaald hoeveel mensen ondervraagd worden, bijvoorbeeld: 500 mannen en 500 vrouwen; 90 West-Vlamingen, 110 Oost-Vlamingen, 135 Antwerpenaars enzovoort. Het is dan zaak al dan niet willekeurig gekozen mensen te ondervragen tot alle quota ‘ingevuld’ zijn.

Wegen

Ook al is de steekproef zorgvuldig samengesteld, toch gebeurt het dat ze niet helemaal representatief is. Doordat sommige ‘leden’ ervan niet willen antwoorden, heb je bijvoorbeeld te weinig antwoorden van Limburgers en te veel van 40-50-jarigen. Om de representativiteit en betrouwbaarheid van de resultaten te verhogen, worden de antwoorden ‘gewogen’. Die van de Limburgers tellen wat meer of zwaarder mee, die van de 40-50-jarigen wat minder of lichter.

Online

Publiek opinieonderzoek gebeurde aanvankelijk door mensen face to face – oog in oog – te ondervragen door enquêteurs. Het is zonder meer de beste methode. Omdat ze omstandig en duur is, werd ze meer en meer vervangen door telefonische bevragingen. Doordat de interviewer kan helpen of doorvragen, zijn die even goed als face-to-face interviews. Probleem is dat almaar minder mensen een vaste lijn hebben en er nauwelijks of geen lijsten van gsm-nummers zijn.

Eenvoudiger en goedkoper is de online-bevraging, maar de betrouwbaarheid is lager

Nog eenvoudiger en nog goedkoper is, sinds de doorbraak van het internet, de online-bevraging. Dat sommige, vooral oudere mensen geen internet hebben, is een eerste probleem. Een tweede, groter probleem is dat online-peilingen zelden met een toevalssteekproef of een quotasteekproef gebeuren. Het peilingbureau kiest de respondenten uit een ‘panel’ van enkele (tien)duizenden internetgebruikers die zich bereid verklaard hebben aan enquêtes deel te nemen. Meer nog dan bij een toevals- of quotasteekproef, moeten de antwoorden van zulke enquêtes gewogen worden – en neemt de betrouwbaarheid af.

Experiment

Dat online-peilingen minder betrouwbaar zijn dan face-to-face of telefonische peilingen met een toevals- of quotasteekproef wordt bevestigd door een experiment van de Konrad-Adenauer-Stiftung (KAS). De denktank van de Duitse christendemocraten liet in juni 2023 zes peilinginstituten dezelfde vraag stellen: welke politieke partij is de meest geschikte inzake dierenbescherming? Twee van de zes instituten deden de peiling met een toevalssteekproef, het ene telefonisch, het andere deels telefonisch, deels online. Twee andere gebruikten een toevalssteekproef om een deel van de enquête telefonisch te doen en een quotasteekproef uit hun online-panel om het andere deel online te doen. De overige twee instituten deden de peiling volledig online en met een quotasteekproef uit hun online-panel.

Bouchez heeft gelijk: kiesintentiepeilingen maken nieuws, maar relevant zijn ze niet

Ervan uitgaande dat de telefonische peiling de meest betrouwbare cijfers geeft en aangezien de bevraging op hetzelfde moment gebeurde, zouden de resultaten van de vijf andere peilingen binnen de foutenmarge (2 procentpunten) van die cijfers moeten liggen. In werkelijkheid weken veel resultaten meer dan 2 procentpunten af van die van de telefonische enquête, in één geval liefst 43 procentpunten. Zelfs de weging van de resultaten kon de afwijking niet verhinderen.De conclusie van de KAS is dan ook helder: alleen een zuivere toevalssteekproef is representatief voor de hele bevolking.

Ongewijzigde partijvoorkeur

MR-voorzitter Bouchez heeft gelijk: meer dan drie jaar voor de verkiezingen kunnen de media nieuws maken met een kiesintentiepeiling, maar relevant is ze niet. De verkiezingscampagne is immers niet bezig en tegen stembusdag kan er vanalles gebeuren.

Ook los daarvan, wanneer een peiling als niet meer dan een momentopname van de politieke gemoedstoestand wordt beschouwd, moeten vraagtekens worden geplaatst bij de ‘Grote Peiling’. Informatie over de steekproefsamenstelling en de weging van de brutoresultaten wordt niet verstrekt. Als online peiling bij, naar we (moeten) aannemen, een online panel is ze, zoals het KAS-experiment leert, hoe dan ook minder betrouwbaar dan een telefonische peiling bij een toevalssteekproef.

Ten slotte maar niet het minst is, door het geringe aantal respondenten, de foutenmarge van 3,1 procent bijzonder groot. Zo groot dat het verkiezingsresultaat van 9 juni 2024 voor alle Vlaamse partijen binnen de foutenmarge van hun peilingsresultaat ligt. De enig zekere conclusie van de ‘Grote Peiling’ is dat de partijvoorkeur van de Vlamingen sinds juni 2024 niet significant is gewijzigd.

George Gallup

Over de waarde(loosheid) van opiniepeilingen