Veel (gok)onderzoek is achterhaald
10 oktober 2022
Is dat een boute uitspraak, ‘veel (gok)onderzoek is achterhaald’? Wij denken van niet. We kijken daarbij vanzelfsprekend vooral naar onderzoek rondom gokken en online casinospellen, oftewel iGaming. Die wereld verandert snel en ingrijpend.
Met daarmee allerlei gevolgen voor (gok)onderzoeksresultaten uit het verleden. Veel wetenschappers zouden hun onderzoeksrapporten moeten afsluiten met ‘onze resultaten en conclusies bieden geen garantie voor de toekomst’.
Wanneer je regelmatig onderzoeken leest zie je al dat veel onderzoekers elkaar tegenspreken, vooral als er een tijdsverschil in jaren is. Maar in plaats van dat te melden in recenter onderzoek nemen veel onderzoeker oude gegevens mee. Vaak pikken ze daarbij de bruikbare informatie uit de rapporten van collega’s om hun eigen hypothese te onderbouwen.
Dat het daar al vaak fout gaat is niet verwonderlijk. Bijvoorbeeld als een onderzoeker die bijvoorbeeld in zijn onderzoek uit 2014 een resultaat aanhaalt uit een onderzoek van dertig jaar eerder. En hoe zit het met dat onderzoek uit 2014 tegenover de huidige werkelijkheid? Kun je zo’n (gok)onderzoek nog serieus nemen?
In sommige gevallen wel, bij andere is dat twijfelachtig. Bij hersenonderzoek worden vorderingen gemaakt op basis van eerdere ontdekkingen. De werking van hersenen, bijvoorbeeld aanmaak van dopamine bij genieten, zal niet zijn veranderd in de loop der jaren. Maar de bronnen van genot en de mate van beleving wel.
Onderzoek naar hersenfuncties, dopamine-aanmaak en dergelijke kunnen wij niet rechtstreeks verifiëren. We zijn niet aanwezig bij het onderzoek. Hooguit kunnen we veel onderzoeken lezen. Dat oefent je in het ontdekken van rariteiten in een onderzoeksmethode of onlogische gevolgtrekkingen. En door gelijksoortige onderzoeken naast elkaar te leggen kun je verschillen ontdekken in conclusies.
Bij onderzoek naar (gok)gedrag, sociale fenomenen en dergelijke is verifiëren wel mogelijk. Omdat een werkelijkheid wordt gebruikt die we kennen. Dat die werkelijkheid wordt nagebootst in een kunstmatige omgeving (laboratorium) is een probleem waar we al eerdere op wezen.
De stelling is hier echter ‘veel onderzoek is achterhaald’. Vergelijken we vandaag met bijvoorbeeld het leven vijftien jaar geleden dan zien we dat er veel is veranderd. We kunnen ons daarbij beperken tot de gokwereld. Maar die staat natuurlijk niet los van haar omgeving, de echte wereld.
In de gokwereld zijn allerlei nieuwe wetten van kracht die invloed hebben op het gokgedrag. Online spelen heeft een enorme vlucht genomen, waardoor overal gespeeld kan worden waar internet is. Er zijn andere spellen. Gokken is geïntegreerd in ‘adventure games’, wat onder andere een nieuwe groep gokkers bracht. Et cetera.
En in de echte wereld zien we toenemende preutsheid, hadden we een pandemie, is er een oorlog dichtbij die veiligheids- en financiële onzekerheid geeft, en vele andere veranderingen ten opzichte van enkele jaren geleden. Veranderingen die al dan niet invloed hebben op allerlei terreinen … bijvoorbeeld daar waar ooit (gok)onderzoek is uitgevoerd.
Op dopamine-aanmaak en dergelijke zullen de veranderingen weinig invloed hebben. Hooguit verandert de bron of reden dat hersenen dopamine aanmaken of juist niet. Maar op allerlei andere zaken hebben de veranderingen (mogelijk) wel invloed.
Het erbij slepen van oude onderzoeken heeft dan in veel gevallen geen zin. Die onderzoeken kunnen zelfs vervelend blijken wanneer niet-relevante resultaten en conclusies nieuw onderzoek verstoren.
Een aanvullend probleem met het meenemen van oude gegevens ligt in definities en context. In een (gok)onderzoek worden dan ter vergelijking gegevens opgenomen uit oudere (of andere) onderzoeken die niet overeenkomen in soort (bijv. omzetgegevens tegenover netto inkomsten). Dat is vooral opvallend bij getallen, waarbij niet altijd duidelijk is wie of wat erin is meegenomen.
Vaak heeft een onderzoeker bij het overnemen van gegevens niet of nauwelijks de moeite genomen de context van een gegeven te bekijken. Deed hij dat wel dan kon hij zelf zien dat gegevens zijn achterhaald. Maar het is ook mogelijk dat dan blijkt dat zijn eigen onderzoek met een groot aantal deelnemers relevanter is dan een ouder onderzoek onder een summier groepje mensen. En dat hij de gegevens van het oude onderzoek wellicht beter niet kan gebruiken.
De veranderende en veranderde wereld is de belangrijkste reden waarom wij denken dat veel onderzoek is achterhaald. Er zijn echter meer argumenten om voorzichtig te zijn met het niet-kritisch oppakken van onderzoeksresultaten. Die haalden we al aan in eerdere berichten op OnlineCasinoGround.
Leuker is het de voorbeelden van achterhaald onderzoek te lezen in boeken en kranten- en tijdschriften. Daarbij kun je overigens ook, soms in de toekomst, in de fout gaan. Bijvoorbeeld omdat de auteur, al dan niet expres, op een bepaalde manier met zijn gegevens omging.
Een mooi voorbeeld buiten de gokomgeving is het managementboek ‘Good to Great’ van Jim Collins. Hij analyseerde met zijn team negen organisaties die over een periode van vijftien jaar beter presteerde dan hun concurrenten. Zijn boek werd een bestseller, maar zou je de periode een jaar eerder nemen dan duikt zijn concurrentieanalyse een heel andere kant op.
