Internationale studenten zijn meer te spreken over hun studie dan over bijvoorbeeld Apple, óók in Nederland. Tenminste, dat blijk dan uit internationaal onderzoek, dus dan moet het wel waar zijn. Talloze media schreven de afgelopen week over de resultaten van dit onderzoek, waaronder onze eigen Metro. Men stelt in het artikel bij Metro een belangrijke vraag: “dat is toch helemaal niet te vergelijken?”. Het antwoord van het onderzoeksbureau is “Jawel” en daarmee is min of meer de kous af. “Maar wacht”, dat kan toch zomaar niet? Hoe kun je nu je twijfels uiten en je met zo’n antwoord af laten schepen? Daar hadden we toch wel graag iets meer over gehoord!
Vergelijken
Het is nogal vreemd dat het ‘vergelijken’ zomaar voor zoete koek wordt geslikt. We hoeven al niet eens meer op te kijken van een kop als “Hollandse studie verslaat Facebook”, zelfs al uit de auteur in kwestie haar twijfels. Zo’n blad moet immers ook lezers trekken: dan mag een beetje ronkende titel best wel. Het vreemde is echter dat er verder helemaal niet op de twijfels in wordt gegaan. En inderdaad: Student Experience Exchange stelt zelf gewoonweg dat de ‘Net Promoter Score’ (NPS) , want daar hebben we het hier over, er juist voor zorgt dat we resultaten met betrekking tot “studeren in Europa” kunnen vergelijken met merken en producten. Voor enige twijfel lijkt geen enkele plaats.
De fout die hier gemaakt wordt is dat grootheden gemeten in gelijke eenheden inderdaad vergeleken kunnen worden, maar dat dat niet per se iets zegt over de relatieve waarde. Je kunt de lengte van een schip en een auto meten in meters, maar als je die zonder meer vergelijkt zul je waarschijnlijk vinden dat een Audi A8 een kleine auto is. Met andere woorden: dat een score op een bepaald gebied lager is: wat zegt dat nu eigenlijk?! (Ziet u hoe moeilijk het al is om vergelijkingen te vergelijken?)
Cultuur
Je kunt discussiëren of NPS een geschikte maat is, feit blijft dat steeds meer bedrijven gebruik maken van dit systeem om ‘mate van aanbeveling’ te meten. Het kan ook een zeer geschikte maat zijn om te zien waar je als organisatie staat en daar actie op te ondernemen. Dan is het natuurlijk wel zaak dat je een beetje eerlijk vergelijkt, en dat lijkt in dit onderzoek niet gedaan te zijn. Het is natuurlijk ook veel toffer om studies met Facebook te vergelijken dan alleen onderling: dat wordt zo’n saai lijstje. Men heeft hier dan ook duidelijk voor die tofheidsfactor gekozen.
Zou een lagere score voor Facebook niet gewoon afhangen van het feit dat ze al zo groot zijn, of het soort dienst dat Facebook is? Wie voelt er nu nog de behoefte om Facebook aan te bevelen aan iemand, je kunt je voorstellen dat zoiets de score voor aanbeveling kan drukken. Buiten dit soort gedachte-experimenten bestaan er ook hardere bewijzen voor het feit dat de mate van aanbeveling verschilt per cultuur (Nederlanders zouden minder hoge cijfers geven, wat overigens iets anders is als dat het niet voor zou komen.) en per industrie. Er is veel onenigheid over in welke mate je NPS per industrie, land of productsoort kunt vergelijken, maar om maar zonder meer over te nemen dat dat ‘natuurlijk kan’ is wel erg ‘een brug te ver’. Zelfs in het theoretische geval dat een waardering van Facebook 1-op-1 te vergelijken is met die van een studie blijft de vraag: “goh wat nu?”. Moet een studie dan gaan streven om haar positie ten opzichte van Facebook nog verder te verstevigen? Dat brengt waarschijnlijk wel heel rare beleidsvoorstellen met zich mee.
Beleid
Onderzoek doen om het onderzoek doen is natuurlijk een beetje belachelijk, al is het zeker waar dat organisaties van velerlei pluimage zich hier schuldig aan gemaakt hebben. Sinds de eerste crisis van de afgelopen jaren, rond 2008, is hier gelukkig enige verandering in gekomen. Dan is het jammer om te zien dat er toch weer studies komen waaruit blijkt dat studenten hun studie beter waarderen dan Facebook. Wat kan een opleiding dáár nu praktisch gezien mee? Zoiets lijkt meer ter meerdere glorie van de opdrachtgever. Als je dan toch een voorstander van NPS bent, wijs er dan op dat dit idee er juist van uit gaat dat er heel praktisch beleid gebaseerd wordt op deze waarderingen. Mooie ronkende resultaten presenteren die weliswaar in eenheid vergelijkbaar zijn, maar weinig zeggen: daar schiet niemand wat mee op. Het is dus erg jammer dat de vraag “kan dat wel?” onbeantwoord blijft in zo’n artikel.
