Het kritisch lezen van een medisch onderzoeksartikel (voor Evidence Based Medicine)

Een versie van dit artikel specifiek geschreven voor praktijkondersteuners in de huisartsenpraktijk is hier te vinden. Dit vormde het afsluitende stuk van de serie Zicht op Onderzoek in het Tijdschrift voor Praktijkondersteuning van het NHG (Nederlands Huisartsen Genootschap).

Volgens Evidence Based Medicine (EBM) moet je de keuze voor een behandeling baseren op wetenschappelijk bewijs. Maar wat telt als echt 'wetenschappelijk'? En wat telt als echt 'bewijs'? Wetenschappelijke artikelen (ook wel 'de literatuur' genoemd) zijn de meest gecontroleerde, gestandaardiseerde en geaccepteerde dragers van wetenschappelijk bewijs. Maar veel artikelen sluiten niet helemaal op elkaar aan of spreken elkaar zelfs tegen. Wat moet je dan geloven? Het nieuwste of juist het meest geciteerde artikel? Of het artikel in het bekendste tijdschrift? Dat is voor wetenschappers al geen gemakkelijke opgave, laat staan voor mensen die er niet dagelijks mee bezig zijn.

Dat iets gepubliceerd staat in een wetenschappelijk tijdschrift betekent niet zonder meer dat het volledig betrouwbaar is. Verkeerde aannames of bevooroordeelde onderzoeksmethoden zijn altijd een risico in de wetenschap, maar ook onbewuste rekenfoutjes en opzettelijke fraude komen helaas voor. Zelfs gerenommeerde wetenschappelijke tijdschriften zijn zeker niet altijd veilig, omdat hun focus vaak meer ligt bij de nieuwswaarde en originaliteit van een onderzoek dan bij de wetenschappelijke zorgvuldigheid.

Voor een wetenschapper vallen overal sceptisch naar kijken en alles in twijfel trekken onder de belangrijkste functie-eisen, maar dat niet echt een optie als je op zoek bent naar antwoorden. Aan de andere kant: hoewel wetenschappelijk artikelen onder de meest betrouwbare bronnen vallen, is blind vertrouwen duidelijk ook geen goede aanpak. Daarom in dit stuk wat praktische tips om de literatuur zelf kritisch te kunnen lezen.

Graviola als medicijn tegen kanker: waar of niet waar? Wat zegt de wetenschap nu echt?

Op een vorig artikel op dit blog over kankermedicijnen kreeg ik de volgende vraag (van Anonym):

"oke en waarom moet ik dan lezen dat er mensen zijn en zelfs iemand ontmoet die van kanker is genezen door het nemen van het middel graviola kunt u mij daar ook antwoord op geven"

Omdat er misschien meer mensen met dezelfde vraag zitten, hier mijn volledige antwoord:

Wat journalisten blijkbaar nog moeten leren: statistiek in de wetenschap

Het geheim van het winnen van Nobelprijzen? Drink melk en eet chocolade!

Althans, dat moeten we helaas geloven als we sommige kranten lezen. Vorig jaar kopte kranten over de hele wereld namelijk al met zo'n titel over chocolade (bijvoorbeeld in de Verenigde Staten, Frankrijk en ook in Nederland). Afgelopen week hetzelfde verhaal over melk en ook hier konden journalisten wereldwijd niet vanaf blijven (zoals in India, Zwitserland en België). Nu vind ik het een goede zaak dat wetenschappelijke ontdekkingen via de media bij de rest van de maatschappij terecht komen, maar dan moet het verhaal wel kloppen. Als journalist moet je de verantwoordelijkheid hebben om de waarheid te vertellen, zeker als het om wetenschap gaat. Pas na de waarheid kun je er een sensationele of grappige draai aan geven om het aantrekkelijk te maken om te lezen. Dus niet andersom.

Wat is er namelijk echt aan de hand? Beide verhalen zijn wel de wereld in gebracht door echte wetenschappers. Hun 'onderzoeken' zijn ook echt gepubliceerd in echte wetenschappelijke tijdschriften. Het artikeltje over chocolade stond zelf in de New England Journal of Medicine (NEJM): een van de meest invloedrijke medisch-wetenschappelijke tijdschiften. In beide gevallen was de bedoeling van wetenschappers echter om een waarschuwing te geven over het blind vertrouwen van statistiek. Ze wilden een discussie los krijgen in de wetenschappelijke wereld over dit belangrijke probleem. Hoe? Door een belachelijk onderzoek te publiceren, wat statistisch geweldig klopt, maar verder totaal niet logisch is.

De discussie over dit probleem kwam goed op gang onder wetenschappers. Jammer genoeg sloegen veel journalisten de plank volledig mis door juist de onzinnige onderzoeksresultaten de wereld in te sturen, in plaats van de echte boodschap. En wat helemaal jammer is, is dat het zeker niet een uitzondering is dat (wetenschaps)journalisten een onderzoek verkeerd naar buiten brengen of de beperkingen van de onderzoeken er niet bij vertellen. Als bonus heeft de wetenschappelijke wereld dus ook weer wat geleerd over de lakse houding van journalisten naar het checken van hun bronnen en de blinde 'sensatielust' van de media. Hopelijk hebben de journalisten ook iets bijgeleerd over statistiek.