Achtergrond

Slechte onderzoeksmethoden: hoe kwaliteitsmedia falen met rapport over etnisch profileren

03-10-2016 18:23

Twynstra en Gudde hebben een veel te lang rapport (pdf) geschreven over een onderzoek dat ze hebben gedaan naar ‘proactief politieoptreden’. Het is het ontzettend moeilijk om de resultaten van hun onderzoek te scheiden van oeverloos gezwets, ge-quote en gefilosofeer van de onderzoekers zelf. Wat in ieder geval wel duidelijk wordt is dat onderzoekers hebben meegelopen met vier teams van de politie tijdens totaal 30 diensten van 8 uur.

Er wordt een wollig hoofdstuk gewijd aan de vraag of politieagenten zich anders gedragen als ze geobserveerd worden door onderzoekers… Kort antwoord: “Ja, natuurlijk”.
Daarom is het eigenlijk al niet meer de moeite waard om over dit onderzoek te praten. De enige reden om dat dan wel te doen is dat deze nietszeggende resultaten ook nog eens foutief, uit context en subjectief worden geïnterpreteerd in allerlei media die zichzelf ‘kwaliteits’-media willen noemen, maar nog liever willen bijdragen aan het op de spits drijven van onenigheid tussen bevolkingsgroepen.

‘Niemand heeft natuurlijk zin om 264 pagina’s gewauwel te lezen om de volkskrant te controleren’

Framing door kwaliteitsmedia

Voorbeeldje van framing uit de Volkskrant, die opent met de vette kop: Politie: etnisch profileren ondermijnt het vertrouwen van burgers om daarna het artikel te openen met de zin: “In bijna 40% van de gevallen zijn de controles niet objectief en redelijk te rechtvaardigen”.
Deze tweede zin komt inderdaad uit het onderzoek, maar gaat he-le-maal niet over ‘etnisch profileren’. Deze zin gaat over de alledaagse praktijk van de surveillance op straat en is niet onderverdeeld naar ras of uiterlijk. Die indruk wordt wel gewekt en helemaal niemand heeft natuurlijk zin om 264 pagina’s gewauwel te gaan doorlezen om de Volkskrant te gaan controleren. De NOS gebruikt exact dezelfde framing op haar webpagina.

Hier kan je in principe stoppen met lezen, maar als je toch wilt weten hoe het dan écht zit met dat onderzoek, volgt hieronder de breakdown van dit broddelwerkje.

Vijf categorieën

In het onderzoek zijn 272 ‘gebeurtenissen’ onderzocht die de onderzoekers hebben meegemaakt tijdens het meelopen met surveillances. Deze zijn onderverdeeld in vijf categorieën:

1 ‘Constateren’ (van bijvoorbeeld bellen achter het stuur).
2 ‘Koppelen’ (bijvoorbeeld van gecirculeerd kenteken aan een auto met inzittende).
3 ‘Herkennen’ (van criminelen of notoire overlastgevers).
4 ‘Abnormaliseren’ (bijvoorbeeld dikke jas op een zomerse dag).
5 ‘Profileren’.

Als het gaat om de discussie rondom ‘etnisch profileren’ is alleen deze laatste van belang, maar profileren kan ook betrekking hebben op zaken die niets met etniciteit te maken hebben, zoals ‘reactie op de politie’.

Slechts 51 van de 272 gebeurtenissen vallen in de categorie ‘profileren’, dus nog minder van die gebeurtenissen vallen in de categorie etnisch profileren. Helaas hebben de onderzoekers verzuimd ergens duidelijk op te schrijven hoeveel ‘gebeurtenissen’ in die specifieke categorie vielen.

‘Het wijst er helemaal niet op dat de politie juist profileert in wijken met veel allochtonen’

Het paradoxale is overigens dat in de twee wijken met een significante niet-westerse populatie (Vlommersdijk (51 procent) en Prinsenpoort (33 procent)) slechts dertien keer werd geprofileerd en in de meer rurale gebieden met een lage niet westerse populatie (Heeksewoud 3 procent, Widuveld 15 procent) 38 keer bij evenveel uur surveillance. Deze getallen zijn natuurlijk veel te klein om conclusies aan te verbinden, maar het wijst er helemaal niet op dat de politie juist profileert in wijken met veel allochtonen.

Goed nieuws

In principe zou ik hier opnieuw kunnen stoppen, maar laten we nog even verder praten over die 272 ‘gebeurtenissen’. Ik herhaal dan toch even dat 221 daarvan onder het gewone ‘boeven vangen’ vallen, omdat de politie gewoon een strafbaar feit constateert of een crimineel herkent. Op pagina 76 van het rapport worden dan de verschillende percentages ‘mensen met een niet-nederlands voorkomen’ (MMNNV) genoemd die hierbij betrokken zijn. (Vlommersdijk 51 procent allochtonen, 74 procent MMNNV, Prinsenpoort 33 procent allochtonen, 81 procent MMNNV, Heeksewoud 3 procent allochtonen, 10 procent MMNNV, Widuveld 15 procent allochtonen, 39 procent MMNNV). MMNNV zijn bij de ‘gebeurtenissen’  dus overgerepresenteerd ten opzichte van de demografie met een factor 1.5-3.3. Dit is volledig in lijn met de misdaadstatistieken.

Uiteindelijk leiden de ‘gebeurtenissen’ tot 174 ‘interventies’, waarbij de onderzoekers concluderen dat er geen significante samenhang aanwezig is tussen het uiterlijk van burgers en de interventiebeslissing”.
Goed nieuws zou ik zeggen en laten we dat vooral in de krant zetten.

Overgerepresenteerd

Op pagina 187 wordt dan even iets uitgesplitst over de etniciteit bij het verdere ingrijpen na een ‘interventie’. Het blijkt dat bij 135 gebeurtenissen 57 staandehoudingen zijn geweest, ongeveer gelijkelijk verdeeld over de etniciteiten, maar dat uiteindelijk bij de staande houdingen ‘met opbrengst’, het in 63 procent ging om MMNNV.

 

screen-shot-2016-10-03-at-18-07-27

 

Wat we opnieuw zien is dat MMNNV overgerepresenteerd zijn op alle onderzochte parameters en meer overgepresenteerd zijn waar het gaat om daadwerkelijke vergrijpen. Dit zou de conclusie kunnen rechtvaardigen dat méér profileren op etniciteit zinvol is.

Maargoed, dan moet je dit onderzoek wel serieus nemen en dat zou geen weldenkend mens doen. Dat de politieleiding en de ‘kwaliteits’-media dat wel doen, zegt dus veel.

Tot slot: als je wat leuke verhaaltjes wil lezen over capabele, niet-racistische agenten op de werkvloer, beveel ik de cursieve gedeelten van dit rapportvan harte aan.