In het septembernummer van HP/deTijd, dat inmiddels al in de schappen ligt, nemen André Krouwel en Jasper van de Pol de veelbesproken “methode De Hond” op de korrel. Krouwel, de maker van het Kieskompas dat later via de website van het maandblad beschikbaar zal zijn, verwijt De Hond in dit artikel een aantal zaken. En het moet gezegd worden: Krouwel staat niet alleen in zijn kritiek op de bekendste opiniepeiler van Nederland. Het is echter júist dit feit dat enige alarmbellen zou moeten doen afgaan. Waarom komt Krouwel nu met een stel oude koeien op de proppen? Is het uit een soort terechte ongerustheid dat hij meent De Hond (nogmaals) aan te moeten spreken, of zit er meer achter? De manier waarop de complexiteit van steekproeftrekkingen in het algemeen -en opiniepeilingen in het bijzonder- nu wordt gesimplificeerd laat in ieder geval veel te wensen over. De argelozer lezer zal zich misschien bevestigd voeler in een vermoeden dat peilingen vooral een reeks ronkende mediamomenten zijn, maar hij wordt wel van de wijs gebracht door de smoke en mirrors van Krouwel zelf. Er worden weliswaar een aantal interessante -maar niet nieuwe- vragen gesteld, maar in de opening van het artikel Maurice de magiër gaat het eigenlijk direct al mis.
Willekeurige steekproef
Maurice de Hond, zo opent het artikel met het eerste ‘probleem’, heeft een lastig huwelijk met ‘representativiteit’. Spekkie voor het bekkie voor bijna iedereen die weleens een half college methoden en technieken gevolgd heeft, dus een flinke klap voor de opiniepeiler, zo lijkt het. Handig laat men hier dan vooralsnog achterwege dat ‘representativiteit’ weliswaar een probleem is, maar dat dit in de onderzoekswereld algemeen erkende (!) probleem iedereen parten speelt. De Hond werkt met mensen “die zichzelf hebben aangemeld” en, zo lezen we, andere onderzoeksbureau’s zoals TNS/Nipo en Ipsos- Synovate werken op een andere minder discutabele manier. Zo heeft Maurice’s peiling last van een self-selected sample dat de representativiteit geen goed doet. Maar hoe komt het nu dat De Hond zo’n basale fout in zijn methode van peilen laat zitten, terwijl andere bureau’s dit weten te vermijden?
Het antwoord is dat de stelling dat andere bureau’s geen last zouden hebben van een dergelijk effect totale onzin is. Een legitiem probleem voor De Hond zou kunnen zijn dat hij een ‘panel’ samenstelt van mensen die geïnteresseerd zijn in politiek, in ieder geval staat ‘zijn’ panel natuurlijk wel bekend om de politieke peilingen. Daarmee is echter níet gezegd dat de andere peilers geen last hebben van een bias, sterker nog: de steekproeven op álle panels (de databanken met mensen die vragenlijsten invullen) zijn in principe zogenaamde non-probability samples. Dit betekent dat géén van de onderzoeken generaliseerbaar is naar het totale Nederlandse publiek. De methoden en technieken om op een ‘juiste’ manier mensen uit zo’n non-probability sample uit te nodigen, zodat daarbinnen zo weinig mogelijk extra self-selection voorkomt zijn legio en voeren te ver om hier te bespreken, maar het is juist deze simplificatie die Krouwel en Van de Pol in hun artikel wel mogelijk achten.
Het feit dat de steekproeven van álle panels op een dergelijke manier te maken hebben met bias is iets dat algemeen onderkend wordt, maar dit artikel kiest er voor er mee te openen alsof De Hond een probleem heeft dat anderen niet kennen. De andere onderzoeksbureau’s trekken wellicht een willekeurige steekproef, maar wel uit een groep mensen die niet willekeurig is, en dan hebben we het nog niet eens over de mensen die ingaan op de uitnodiging. Waar willen de auteurs nu precies heen met dit voorbeeld? Dat Maurice wellicht meer politiek geïnteresseerden in zijn database heeft, en anderen vrouwen van middelbare leeftijd? (De standaard oververtegenwoordigde groep in een beetje panel.)
Peilingen zijn Palingen
Waar het wel écht interessant wordt is het deel waarin de auteurs ingaan op de verschillen tussen de peilingen, al vertelt ment juist nu niet waarom. Ondanks de sample-bias liggen politiek-getinte onderzoeken, inderdaad volgens (meta)onderzoek, namelijk opvallend dicht bij elkaar. In een poging de bias te verminderen zorgt bijvoorbeeld TNS/NIPO verder dat ze respondenten bellen, een manier om dichter bij een ‘willekeurig’ sample te komen, maar nooit optimaal. (Zou u meedoen als ze u opbelden? Daar ga je al.) Opmerkelijk genoeg wordt dit alles afgesloten met een alinea over dat inderdaad elke peiler dergelijke methodologische problemen kent. Goed, dat wisten we dus allemaal al, dus vanwaar de beschuldigingen aan het adres van De Hond? Er zijn talloze manieren om te ‘corrigeren’, zo weegt Peil.nl bijvoorbeeld op opkomst, niet puur demografisch over de gehele bevolking, maar waarom ligt de nadruk op Maurice’s self selection terwijl dat de anderen niet of minder wordt aangerekend? (De ‘methode De Hond’ waarover de auteurs spreken ligt overigens inmiddels via doorverkoop van bureau Inter/View bij Ipos-Synovate, Peil.nl van Maurice de Hond werkt ‘dus’ volgens een andere methode.)
De De Hond-factor
“Maurice wil immers nieuws maken!” zo verzuchten de auteurs wanneer zij aankaarten dat hij zijn respondenten wel erg weinig tijd geeft. Dat gebrek aan tijd is dan blijkbaar ineens een probleem, en theoretisch gezien kunnen dan bepaalde groepen inderdaad minder vertegenwoordig zijn, maar feitelijk hoeft dit bij een juiste manier van sampling niet altijd een probleem te zijn. Met hun uitroep geeft men echter wel aan waar het werkelijk om draait: de zogenaamde “De Hond-factor” die menig marktonderzoeker doet glimlachen. Want niemand weet natuurlijk hoe ie het precies doet, die De Hond. Dat kun je makkelijk ‘niet helemaal zuiver’ noemen, want heel doorzichtig is het niet, en dan wil die Maurice ook nog een beetje nieuws maken.
Het lijkt er op dat men eigenlijk vooral deze oude koe uit de sloot wilde halen. Al de gesimplificeerde theorie over steekproeftrekkingen, waar men niets nieuws wist te melden, waren slechts een afleidingsmanoeuvre. ‘Magiër Maurice’ doet maar ‘een dotje’ en dat steekt de beide auteurs mateloos. Het mooie is dat je op deze manier een boel zeer terechte kritiek kunt hebben op De Hond en zijn collega peilers en -onderzoekers. Het is immers een veel gehoorde kritiek, en moeten juist peilingen niet volledig transparant zijn? De auteurs kiezen er echter niet voor al te veel uit te weiden over de vele misverstanden over (online) onderzoek; het is De Hond die de magiër is en wiens publieke figuur blijkbaar al te veel pijn doet. Natuurlijk is de invloed van Maurice de Hond verre van ideaal te noemen, maar van de andere kant is dit misschien wel de enige onderzoeker met kennis van de alledaagse gang van zaken bij grote panel-onderzoeker die op televisie mag uitleggen hoe het allemaal in elkaar steekt: een unieke situatie.
Volgens de auteurs moeten we Maurice de Hond maar niet geloven, maar wat Krouwel en Van den Pol hier doen is een beetje stennis schoppen en dan hard weer wegrennen. Is het niet gek dat “De Hond” allerlei interpretaties aan peilingen lijkt te ‘mogen’ geven? Misschien wel, maar Krouwel heeft inmiddels zoveel van zijn eigen fairydust over u uitgestrooid dat u deze open vraag sowieso wel bevestigend beantwoordt, zonder dat de echte problemen duidelijk voor het voetlicht komen.
Gyurka Jansen schrijft over nieuwe media en beleid, is marktonderzoeker er werkte vijf jaar aan online opiniepanels. Hij vind dat de betekenis van onderzoek een stuk beter naar voren mag komen, maar ageert zo nu en dan ook tegen het telkens intrappen van dezelfde deuren, waar we ook geen extra kennis mee opdoen.
CC-Foto: ‘twoshortplanks‘
