Tellen is niks bijzonders. Kleuters kunnen het. Kinderen van 6+ bezitten al hogere rekenvaardigheden. Toch hechten we er veel waarde aan. Meten is weten ofzo. Een cijfer geeft extra gewicht aan een claim. Dat komt door de suggestie van een methode. Dus als ik zeg dat 10 uur over straat lopen meer dan 100 gevallen van seksuele intimidatie oplevert, klinkt dat geloofwaardig. Als ik zeg dat ik 1,2 miljoen tweets heb geanalyseerd om een ruzie te verslaan, dan zal die reconstructie wel correct zijn. Jammerdebammer, maar zo werkt het niet. Tellen is niks zonder systematiek. Onderzoek doen en onderzoek presenteren moet je leren.
Vorige week ging Catcalling viraal. Een vrouw loopt door New York en wordt nageroepen door mannen. De video past helemaal in een trend van alles als seksisme benoemen en kon dan ook rekenen op een boel clicks: 33.000.086 toen ik dit schreef (zie hoe dit cijfer gewicht geeft).
Maar wat de video representeert is niet de waarheid. Ten eerste is de video een compilatie. Het lijkt dus alsof de vrouw voortdurend wordt lastiggevallen maar dat komt door de montage. Het gaat nog verder. Een dag na verschijnen werd duidelijk dat de makers – een marketingbureau – alle witte mannen eruit geknipt hadden. Misschien deden ze dat omdat ze dachten dat de video anders te weinig aan zou slaan.
Gelukkig is er internet. Mass Appeal ging na op welke straten er gefilmd was en concludeerde dat meer dan de helft van de shots op één straat in Harlem geschoten is. Na zulke kapotblogs voegden de makers van Catcalling een disclaimer toe: “A video like this is not meant to be a literal representation of street harassment demographics”.
Te laat: zo had iedereen het al wel opgevat. Saillant detail: het blijkt ineens ook geen opname van tien uur te zijn geweest, maar “less than half a day”.
Socioloog Zeynep Tufekci schreef maandag een blogpost over de gebrekkige methodologie die aan de video ten grondslag ligt. Ze gaat daarbij in op presentatie van data en de relatie met theorie:
“Most data supports more than one theory. This does NOT mean all data supports all theories: rather, multiple explanations can fit one set of findings. Choosing the right underlying theory, an iterative process that always builds upon itself, requires thinking hard on how data selection impacts findings, and how presentation of findings lends itself to multiple theories, and how theories fit with existing worldviews, and how better research design can help us distinguish between competing explanation.”
Data op zichzelf vertellen niets. Data moeten geïnterpreteerd worden en daarvoor is theorie essentieel. Een goed onderzoeksontwerp helpt onderzoekers een onderscheid te maken tussen concurrerende verklaringen.
Ik moest daaraan denken toen ik eergisteren op De Correspondent datajournalistiek zag. Dimitri Tokmetzis publiceerde een reconstructie van “de Twitteroorlog aan de hand van een netwerkanalyse van 1,2 miljoen tweets”.
Tokmetzis zoomt in op een fittie die hij ‘Jelmergate’ noemt. Hij gebruikt deze om te betogen dat er “een totaal ontspoord polemisch klimaat [heerst] in een aantal nette kranten, de blogosphere en vooral: op Twitter”.
Die claim is te groot, want uit niets blijkt dat Jelmergate representatief is voor het opinieklimaat.
De reconstructie blijkt ook onbetrouwbaar, dat wil zeggen: er worden uitspraken gedaan die niet mogelijk zijn op basis van inhoudsanalyse van de tweets. Het gaat bijvoorbeeld om hoe mensen dingen ervaren hebben en wat er buiten Twitter is geschied. De tweets spelen alleen een rol ter illustratie van de gebeurtenissen in een soort tijdslijn.
De Correspondent houdt van meta en bij zijn analyse schreef Tokmetzis een verantwoording. Dit stuk gaat echt over de 1,2 miljoen tweets en is een vorm van datajournalistiek (hoewel we nog weinig te weten komen). Het is een veel interessanter artikel omdat Tokmetzis zich op basis van een daadwerkelijke netwerkanalyse waagt aan een spannende hypothese – namelijk dat de deelnemers van Jelmergate fitties als gedeelde hobby hebben (die hypothese is trouwens strijdig met de claim van een ontspoord discussieklimaat, maar dat terzijde).
Er zijn dus twee stukken, waarbij de cijfers van het ene stuk gebruikt worden om het andere meer gewicht te geven. Tokmetzis heeft zich voor de reconstructie grotendeels gebaseerd op gesprekken met betrokkenen. Wie dat waren en hoe ze de dit stuk hebben gevoed blijft onduidelijk, waardoor de analyse systematiek mist.
Navraag leert dat Bart Nijman (in de reconstructie benoemd als aanstichter) niet benaderd is. Robert Engel die terecht moet staan is wel gevraagd, maar heeft niet meegewerkt. Dit wekt de suggestie dat de reconstructie geïnformeerd is door één kant van de fittievoerders. Zeynep Tufekci zou zeggen dat een dergelijk onderzoeksontwerp het onmogelijk maakt concurrerende verklaringen af te wegen.
Dimitri Tokmetzis heeft als functieaanduiding ‘correspondent data & transparantie’ en dat maakt hij waar. Ik kreeg uitgebreide reactie op vragen over het onderzoeksproces. Hij gaf daarbij aan wel degelijk met minimaal één persoon uit alle kampen te hebben gesproken.
Zijn enthousiasme ligt, net als het mijne, bij de netwerkanalyse. Voor de uitvoering heeft hij zich laten adviseren door wetenschappers. Bovendien had hij een heldere onderzoeksvraag (‘hoe verhouden alle twitteraars betrokken bij Jelmergate zich tot elkaar?’). Het was goed geweest als hij ook voor de presentatie van zijn bevindingen te rade was gegaan bij wetenschappers.
Een video gemaakt door een marketingbureau moet je natuurlijk nooit vertrouwen. Marketing en de werkelijkheid gaan niet samen. Maar ook journalistiek en de werkelijkheid staan op gespannen voet, omdat journalistiek gedreven wordt door nieuwswaarden – vandaar de twee stukken rond Jelmergate.
Binnenkort is het weer de Week van de Mediawijsheid, het twijfelachtige concept dat burgers in staat zou stellen om “actief, kritisch én bewust deel te kunnen nemen aan onze moderne mediasamenleving”.
Voorstanders zouden in de scheve presentatie van resultaten in Catcalling en Jelmergate bewijs kunnen zien voor de noodzaak van dit thema. Ik zie het geld van die dure lespakketten liever gaan naar onderricht in onderzoeksmethoden.
