U dacht dat u van ons af was. Af van die politicologen die maar blijven klagen over de hoogst onzorgvuldige omgang van nationale media met opiniepeilingen. Snel na de verkiezingen wezen journalisten de peilers (en niet zichzelf) aan als de zondebok, en gingen ze over tot de orde van de dag. Tegelijk met de radiostilte rond de formatie ging een soort radiostilte in over peilingen. Tot de volgende parlementsverkiezingen, als de hele peilingencarrousel weer van voor af aan begint, zullen we maar zeggen.
Amerikaanse peilingen
Maar dan vergeet u dat we nog slechts vijf weken te gaan hebben tot die ‘volgende verkiezingen’. Op 6 november kiest Amerika een nieuwe president en als er één land ter wereld is waar men nog gretiger peilt dan in Nederland dan zijn het wel de Verenigde Staten. Uit die vele peilingen blijkt bijvoorbeeld dat de Republikeinse kandidaat Mitt Romney het niet goed doet. Zijn gemiddelde achterstand op Barack Obama ligt in een Amerikaanse versie van de Peilingwijzer rond de 4 procent en is aan het groeien. Nu bieden die peilingen natuurlijk een mooie gelegenheid om veel andere vragen te stellen naast stemvoorkeur en de ‘approval rating’ van de president.
Mormoonse kerk
Zo vroeg Bloomberg in haar laatste peiling niet alleen naar de populariteit van Romney en Obama, maar ook van hun echtgenotes, voormalig presidenten Bill Clinton en George W. Bush, bankvoorzitter Ben Bernanke en zelfs de Kerk van Jezus Christus van de Heiligen der Laatste Dagen, beter bekend als de Mormoonse kerk. Uit deze peiling zou blijken dat zelfs de historisch impopulaire Bush jr. momenteel op meer steun kan rekenen dan Mitt Romney. Of dat werd opgepikt in de media? Mwah…
Uit deze peiling van Bloomberg zou blijken dat 46 procent van de ondervraagden een positief beeld heeft van Bush jr. tegenover 43 procent voor Romney; 49 procent van de respondenten heeft een negatief beeld van Bush jr. tegenover 50 procent voor Romney. Mocht het u interesseren, Bill Clinton en Michelle Obama waren verreweg het populairst, Ben Bernanke en de Mormoonse Kerk het minst. De kop die uiteindelijk blijft beklijven in buitenlandse en Nederlandse media laat zich raden: “Bush populairder dan Romney.”
Foutmarges
U raadt vast al waar dit verhaal heen gaat. Foutmarges! Schattingen op basis van steekproeven kennen foutmarges. De kern van het probleem is bekend bij iedere eerstejaars student in de sociale wetenschappen, maar laten we het nog eens herhalen. Om uitspraken te doen over een populatie (zeg de Nederlandse of Amerikaanse kiesgerechtigde bevolking) zou je eigenlijk een volkstelling moeten houden. In dat geval weet je precies wat bijvoorbeeld het percentage stemmers is op welke partij dan ook. Zie zo’n volkstelling als verkiezingen maar dan met een opkomst van 100 procent.
Aangezien dit onpraktisch en ronduit onbetaalbaar is nemen survey onderzoekers hun toevlucht tot steekproeven. We selecteren een paar duizend respondenten uit de populatie, laten onze berekeningen los op de steekproef, en maken vervolgens weer een vertaalslag naar de populatie. Het is wiskundig [http://nl.wikipedia.org/wiki/Centrale_limietstelling] aan te tonen dat die vertaalslag mogelijk is in het geval van een zogenaamde waarschijnlijkheidsstreekproef waarin de kans van iedere respondent om in de uiteindelijke steekproef te raken bekend is bij de onderzoekers. Zo kunnen we toch redelijk precieze uitspraken doen over een populatie van miljoenen op basis van een steekproef van een paar duizend ondervraagden. Er zit één addertje onder het gras.
Populatievariabele
Uit dezelfde populatie zijn oneindig veel steekproeven te trekken. En aangezien respondenten worden geselecteerd op basis van kans zullen al deze steekproeven van elkaar verschillen. Vanwege puur toeval kunnen bijvoorbeeld jongeren oververtegenwoordigd zijn in de steekproef. Of hogere inkomens, vrouwen, Republikeinen, of welke groep dan ook. De ene keer trekken we dus een steekproef waarin 43 procent een positief beeld heeft van Romney.
Maar als we tegelijkertijd een andere steekproef hadden getrokken uit dezelfde populatie had dit percentage best op 45 procent of 42 procent kunnen uitkomen. Met andere woorden, elke schatting van een populatievariabele heeft een onzekerheidsmarge. Als je uitspraken wilt doen zonder rekening te hoeven houden met deze marges zul je ofwel een volkstelling moeten houden ofwel in je conclusies alleen refereren aan de ondervraagden in die peilingen zonder de vertaalslag te maken naar de hele bevolking.
Geen kleine lettertjes
Het rapporteren van deze foutmarges door peilers is een must om de resultaten juist te kunnen interpreteren. Nederlandse peilbureaus als TNS-NIPO en Ipsos Synovate rapporteren bijvoorbeeld marges van rond de 2% voor de grotere partijen. Ook bij Amerikaanse peilers bestaat volstrekte openheid over deze foutmarges. Nu heeft Bloomberg uiteraard een kort verslag geschreven met de resultaten van hun peiling waarin wordt begonnen met de methodologische verantwoording.
Geen kleine lettertjes achteraf, geen excuus dat het niet terug te vinden was. De foutmarge rondom de schattingen uit de peiling is 3.1 procent voor de hele steekproef van 1007 respondenten, maar eigenlijk zijn we natuurlijk geinteresseerd in ‘likely voters’ om eventuele consequenties voor de daadwerkelijke verkiezingen te kunnen duiden. Voor deze kleinere groep is de foutmarge groter, namelijk 3.5 procent.
Het verschil van 3 procent in populariteit tussen Bush en Romney en het verschil van 1 procent in ‘impopulariteit’ valt binnen deze marge van 3.5 procent. Letterlijk betekent dit het volgende: Stel dat Romney en Bush gelijk scoren qua populariteit onder de Amerikaanse bevolking. Dan is het best mogelijk dat we een steekproef trekken waarin we een verschil van 3 procent (en natuurlijk ook van 1 procent) vinden op basis van puur toeval. Het verschil in de steekproef hoeft dus niet te duiden op een daadwerkelijk verschil in de daadwerkelijke bevolking. De conclusie dat Bush populairder is dan Romney zou weliswaar waar kunnen zijn, maar is op grond van de peiling van Bloomberg simpelweg niet hard te maken.
De komende vijf weken
Wat mij betreft was het al nieuwswaardig geweest dat Romney en Bush elkaar niet ontlopen qua populariteit. Maar misschien is dat niet spannend genoeg.
We weten dat rapportage van Nederlandse peilingen in Nederland effect heeft op de Nederlandse verkiezingsuitslag. Via beeldvorming in media, via politici die hun oren naar peilingen laten hangen, via strategische stemmen èn via bandwagon effecten.
‘Check de bron!’
Maar ook al beïnvloedt de berichtgeving de verkiezingsuitslag niet, zoals in het geval van Nederlandse rapportage van de Amerikaanse verkiezingen, dan nog verdient dit punt de aandacht. Journalisten dienen met peilingen om te gaan zoals zij omgaan met iedere andere vorm van informatie. Check de bron! Peilbureaus schrijven die persberichten en verslagen niet voor niets.
Het probleem gaat dieper dan slechts een gebrekkige (afwezige?) controle van de bron of ‘statistisch analfabetisme’. Uit een rondgang bij Nederlandse media door Vrij Nederland blijkt enige apathie. Onze media hebben er zelfs geen problemen mee om nieuws over buitenlandse peilingen fors aan te zetten.
Voorsprong Sarkozy
Toen het verschil tussen Sarkozy en Hollande in maart bij de Franse presidentsverkiezingen too close to call was, concludeerden Nederlandse media van nu.nl tot de Volkskrant dat Sarkozy voor het eerst een voorsprong had genomen.
Het is buitengewoon treurig als media nieuws menen te moeten presenteren dat er simpelweg niet is. In plaats van de berichtgeving van de Huffington Post klakkeloos over te nemen, had de Volkskrant webredactie ook vijf minuten de tijd kunnen nemen om het verslag van Bloomberg te lezen en op basis daarvan het bericht te schrijven. Journalisten hadden die peiling niet eens hoeven negeren. Het is zeker een interessant gegeven dat Bush en Romney qua populariteit gelijk scoren omdat dit kan wijzen op problemen in het Romney-kamp. Maar ga nou eens voor de zorgvuldige in plaats van de op sensatie beluste en onjuiste berichtgeving.
‘Onzinfilter’ van 3 procent
De komende weken gaat u doodgegooid worden met nieuws over de race om het Witte Huis. En terecht. De verkiezing van de Amerikaanse president heeft consequenties ver buiten de Amerikaanse landsgrenzen. Daarbij hoort berichtgeving over wie er gaat winnen, wie er op kop ligt, wie vertrouwen geniet bij welke groep, etc. Aangezien de politieke berichtgeving op dit punt schromelijk tekort schiet is het misschien handig om zelf maar een ‘onzinfilter’ te ontwikkelen. Hou die 3% in gedachte en negeer onjuiste uitspraken als deze.
Wellicht vecht Romney zich terug in de race en valt het verschil weer binnen de foutmarge. Misschien ook niet. Maar totdat journalisten informatie peilingen op juiste wijze kunnen en willen interpreteren en weergeven, bent u aangewezen op uzelf en uw eigen onzinfilter.
Tot de volgende verkiezingen.
Armen Hakhverdian is als universitair docent verbonden aan de afdeling politicologie van de Universiteit van Amsterdam.
