Naar aanleiding van mijn vorige artikel rees er kritiek op míjn kritiek op ‘Serious en Applied Games’. Ik schreef dat dit type games nog niet wetenschappelijk gevalideerd was; volgens sommigen was dit wel degelijk het geval. In mijn rondgang door de Nederlandse Serious Games-scene stuitte ik op een tweetal games met thema’s die in mijn ogen die validatie behoeven. Beiden zijn gemaakt door Ranj, een van Nederlands grootste Serious Game-studio’s. Hoe staat het er voor met de bewijzen er achter?
Plan-it Commander is gemaakt voor kinderen met ADHD en zou hen moeten helpen met planning en organisatie. Het is online te spelen voor 37 euro. De prijs suggereert in ieder geval al een virtuele werkzame stof. Maar is die er ook? Op de site wordt er in ieder geval ‘onderzoek’ vermeld, maar op de uitslagen daarvan is Ranj zelf óók nog aan het wachten. Twee zinsneden: ‘Zodra wij resultaten hier over hebben zullen wij die uiteraard hier melden’, en: ‘Wij zijn reuze benieuwd naar de uitkomsten!’ Het enige onderzoek dat afgerond is, is een marktonderzoek onder ouders. De conclusie daarvan presenteren ze trots:
“Twee derde van alle ouders zou Plan-It Commander aan andere ouders aanbevelen. Een mooier compliment kan je niet krijgen!”
Ik ben benieuwd naar het enthousiasme bij Ranj wanneer er eindelijk echt bewijs geleverd wordt. Want echt bewijs kán nog komen na afronding van een lopend onderzoek. Die studie, die om onduidelijke reden niet Plan-it Commander onderzoekt maar een kopie ervan genaamd Healseeker, ging van start in juli 2012. Volgens de site verwacht Ranj de uitkomst ervan nog steeds in het najaar van 2013.
Een van Ranj‘ laatste serieuze spellen, Juf in a Box, moet kinderen met een ontwikkelingsstoornis helpen met hun schrijfvaardigheden. Er wordt hier in ieder geval met een afgerond medisch onderzoek geschermd. Ranj schrijft: ‘Als leidraad werd de wetenschappelijk bewezen methode Neuromotor Task Training gehanteerd.’ Even voorbijgaand aan de onduidelijkheid die het woord ‘leidraad’ met zich meebrengt, zijn er enkele vraagtekens te zetten bij deze claim. Volgens een studie naar uiteenlopende behandelingen voor dezelfde ontwikkelingsstoornis blijkt Neuromotor Task Training namelijk een van de minder goed onderzochte behandelingen. In hun conclusie schrijven ze:
‘Parent-assisted motorskills movement quality (effort) training, individual and group program, psychomotor neuromotor task training (NTT), […] were also investigated once with positive outcomes, but were CCT’s or less and therefore only offer indicative findings.’*
Ranj neemt dus een niet voldoende bewezen, en mogelijk minder effectieve methode als ‘leidraad’ voor een spel dat op zichzelf ook al geen bewezen resultaten kan opdissen. Ze lijken daarnaast drukker met het maken van nieuwe spellen dan het achter de broek aan zitten van trage onderzoekers die hun vorige game nog moeten valideren. Misschien vindt Ranj bewijs niet belangrijk, of misschien komt dat bewijs er uiteindelijk toch echt. Wachten daarop hoeven ouders van een kind met ADHD of een ontwikkelingsstoornis desondanks niet te doen; beide games zijn nu al te spelen voor prijzen die alleen in de zorgsector normaal geacht worden. In een van de promofilmpjes van Ranj wordt er geopend met de stelling: ‘Zorg kan zó veel beter’. Alhoewel dat nog steeds waar kan zijn, lijkt Ranj mij op deze wijze niet in de positie om daar iets aan te doen.
Anderzijds: moeten we wel zo streng zijn op Serious Games? Is het misschien niet gewoon beter om deze pionierende fase aan te moedigen? Het bewijs, de kadering en bescherming van het genre komen later wel. Ik zou dan misschien graag eerst klinkende resultaten en een bètatest willen zien voordat iemand ergens 37 euro voor vraagt… maar misschien durft niemand dan meer een spel voor ADHD’ers te maken. En validatie? Misschien is dat helemaal niet hetzelfde als ‘bewezen effectief’? Misschien zijn een paar experts die eraan meewerkten of adviseerden wel validatie genoeg? Hoe dan ook: voor de toekomst van de Serious Game lijkt het mij verstandig wat serieuzer over dit soort vragen na te denken.
*Een Controlled Clinical Trial (CCT) is een onderzoek waarbij testgroepen niet via een systeem van willekeur worden opgedeeld. Omdat uitslagen hierdoor mogelijk vatbaar zijn voor variabelen worden uitslagen van CCT’s niet met dezelfde zwaarte meegerekend als Randomised Controlled Trials (RCT).
Header: Erick Niels – Flickr
Wil je – om wat voor reden dan ook – contact opnemen met Bits? Stuur een mailtje naar [email protected], of volg Bits op Twitter: ‘@Bitspost’ of op Facebook!
