Zaterdag stond er een heel interessant stuk in het wetenschapskatern van NRC, dat mooi past in het verlengde van onze discussie bij het bericht ‘Meer klimaatvoorlichting zal niet helpen’. Het artikel gaat over het decline effect, de teloorgang die vele opmerkelijke wetenschappelijke vondsten na een aantal jaar blijken door te maken. Jonah Lehrer bedacht de term in een recent artikel in The New Yorker. NRC begon zo:

“Ja, zo werkt het”, zegt Huib Mansvelder aan de telefoon. “We zien het in ons vak voortdurend.” Mansvelder is hoogleraar neurofysiologie aan de Vrije Universiteit in Amsterdam. En wat hij en zijn collega’s al jaren zien en weten: wetenschappelijke vakbladen zijn dol op verrassende en grote effecten. Op ‘positieve’ onderzoekersresultaten.

De redacteuren van die bladen wrijven in hun handen als onderzoekers voor het eerst aantonen dat stofje X de symptomen van een depressie sterk verlicht. Als ze laten zien dat passief meeroken een verhoogde kans op longkanker geeft. Of dat een symmetrisch uiterlijk de kans op nakomelingen aanzienlijk vergroot.

Maar dat stofje Y geen effect heeft op schizofrenie, of dat lange tenen niks met voortplantingssucces te maken hebben, bij wijze van spreken – daarvoor lopen ze niet warm. Zulke ‘negatieve’ uitkomsten zijn nu eenmaal, eh, nogal saai. “Het is als in de kranten”, zegt Mansvelder. Wie leest er met rode oortjes dat er vandaag in Kampen weer niks is gebeurd? “Het afwijkende is interessant.” Voor bladen én voor onderzoekers.

Maar: hoe onschuldig is die voorkeur voor het grote effect? En: leidt het weglaten van negatieve onderzoeksresultaten niet tot vertekening? Of: werkt de ‘jacht op de afwijking’ geen grootscheepse overdrijving in de hand – waarna het jaren duurt eer het beeld weer is bijgesteld?

Die vragen stelde wetenschapsjournalist Jonah Lehrer onlangs in een lang artikel in The New Yorker. Met een trits voorbeelden illustreerde hij hoe populaire en intussen breed geaccepteerde onderzoeksresultaten soms ineens beginnen af te brokkelen – bij elke poging om ze te repliceren een beetje meer. “Het is alsof onze feiten ineens hun waarheid verliezen: claims die verankerd waren in studieboeken blijken plotseling onbewijsbaar”, schrijft hij.

Lehrer noemt dit vreemde verschijnsel het decline effect – naar een fenomeen uit de parapsychologie. Misschien, suggereert hij verder, treedt het decline effect wel steeds vaker op in het onderzoek.

Moeizaam
Ok, niets nieuws onder de zon, zult u zeggen, de wetenschap schrijdt moeizaam voort. Maar om welke reden? Omdat de materie complex is? Of hobbelen we achter hobby’s aan van wetenschappelijke bladen?

Maar: toevallige uitschieters kunnen in goed ontworpen vervolgexperimenten toch vrij snel rechtgetrokken worden? Waarom gebeurt dat dan in het decline effect aanvankelijk juist helemaal niet – en daarna alleen stapje voor stapje?

Bioloog Leigh Simmons heeft het decline effect van dichtbij meegemaakt. Hij was een van die biologen die begin jaren negentig meteen dook op de vondst dat zwaluwen met symmetrische veren meer voortplantingssucces hadden. Maar het lukte Simmons niet om het resultaat te repliceren. Hij slaagde er evenmin in om zijn ‘negatieve’ onderzoeksresultaat gepubliceerd te krijgen.

In een analyse achteraf ontdekte Simmons dat hij daarin niet alleen stond. In die eerste jaren na de ontdekking werden alle negatieve studies (vier) geweigerd. De vijf positieve studies die het effect bevestigden, haalden wél allemaal de bladen. Ofwel: de bladen holden achter de vondst aan en hun enthousiasme hield die vondst een paar jaar lang in stand.

Pas toen de nieuwe ideeën over symmetrie en voortplanting rond 1995 ingeburgerd waren, begonnen vakbladen de negatieve resultaten aantrekkelijk – want afwijkend – te vinden, zo laat Simmons overtuigend zien [grafiek uiterst rechts]. En toen pas werd het oorspronkelijke geloof in de theorie stapsgewijs getemperd. Zo komt het decline effect neer op het compenseren van overenthousiasme.

De ervaring van Simmons is de grote shock van dit artikel. Natuurlijk weten we inmiddels allemaal dat er zoiets als een publication bias bestaat in de wetenschap, maar omdat die tegelijkertijd zo onzichtbaar is, is het ook moeilijk om je vinger erachter te krijgen, zoals Simmons in dit geval gedaan heeft.

LinkedIn
Toevallig stuurde de in het NRC-stuk genoemde Huib Mansvelder me dit weekend een LinkedIn-uitnodiging. Ik besloot hem kort mijn gedachten te mailen over een mogelijk decline effect in het klimaatonderzoek:

Mijn eigen referentiekader met wetenschap is de laatste zes jaar vooral het klimaatdebat. Daarin zie je het tegenovergestelde van wat in het NRC-artikel beschreven staat.
Het decline effect zou al lang en breed opgetreden moeten zijn, want er zijn heel veel aanknopingspunten om de nieuwe theorie – er komt een klimaatcrisis door CO2 – aan het wankelen te brengen, maar inmiddels is het onderwerp zo politiek correct geworden dat het decline effect bewust – zeker door bladen als Nature en Science – wordt tegengehouden.
En dus blijven we leven met de mythe dat CO2 een soort magische thermostaatknop is van het klimaat en dat we snel iets moeten doen. Die mythe wordt telkens weer bevestigd door nieuw onderzoek, dat meestal bestaat uit het draaien van computersimulaties. Zo groeit de stapel literatuur die de broeikastheorie ondersteunt, wat weer een extra reden is om te roepen ‘zie je wel dat het zo is’.

Gill versus Dijkgraaf
Overigens denk ik dat het decline effect ook in het klimaatdebat wel degelijk zal gaan optreden. De politieke correctheid van het onderwerp remt dit proces alleen enorm. Afnemende onderzoeksfinanciering voor ‘de rol van broeikasgassen’ kan een belangrijke impuls worden voor de mogelijke teloorgang van de broeikashypothese.

Ik bespeurde in het artikel ook nog een interessant verschil van opvatting tussen twee van de geïnterviewde wetenschappers, ‘scepticus’ Richard Gill, hoogleraar statistiek, bekend geworden door zijn bemoeienis met de zaak Lucia de B. en natuurkundige Robbert Dijkgraaf, voorzitter van de KNAW. Beiden werd gevraagd of het erg is dat de wetenschap zó werkt.

Is het erg dat het zo werkt? Schei toch uit, helemaal niet, schreef de Amerikaanse moleculair medicus David States in een reactie aan de New Yorker. Het is gewoon de winner’s curse, ‘de vloek van het winnende bod‘. Dat is het idee dat bij een veiling van voorwerpen van onzekere waarde de winnaar die met een object naar huis gaat, grote kans loopt dat hij veel te veel betaald heeft. Zo werkt het in de wetenschap ook, schreef States. Wie snel werkt en hoog inzet, wordt veel geciteerd, maar loopt daarna ook het risico onderuit gehaald te worden. Collega’s springen nu eenmaal bovenop sterke nieuwe claims. Helemaal niet erg, schreef States, want juist competitie stuwt de wetenschap voort. (…)

Gill moet aan de telefoon een beetje grinniken om de term. “Een vloek zou ik het niet noemen, want tegen de tijd dat het resultaat onderuitgehaald wordt, heeft de onderzoeker er al lang carrière mee gemaakt en subsidies mee binnengehaald. Een vloek is het hooguit voor mensen die voor niks een bepaald middel hebben geslikt. Die zich voor niks zorgen hebben gemaakt over de onbewezen ongezonde effecten van koffie. Of die zich voor niks verheugd hebben over onbewezen gezonde effecten van rode wijn.” (…)

Kom, zegt KNAW-president Robbert Dijkgraaf, wordt er ook niet een beetje overenthousiast op het decline effect gereageerd? “Kronkelpaden en miskleunen horen er bij – als je maar de onzekerheden en foutenmarges aangeeft.”

Achteraf lijkt het zo makkelijk om de juiste conclusie te trekken, maar in de praktijk moeten onderzoekers, vaak onder druk, uit beperkte informatie een beeld zien te reconstrueren. “Het lijkt op zo’n computerspelletje waarbij steeds meer puntjes op het scherm verschijnen en waarbij je zo snel mogelijk moet raden welk beeld die samen vormen. Als je het goede antwoord geeft, maar wel veel te laat, tja, dan word je niet meer gehoord.”

Gill benadrukt de gevolgen van het wetenschappelijke proces voor de maatschappij, de gebruikers van die kennis. Hij vindt het kwalijk dat door de tekortkomingen van het wetenschappelijke proces de consument wordt misleid. Dijkgraaf neemt het op voor de wetenschapper, kronkelpaden horen erbij.

Vertaling naar klimaat
Laten we dit nu eens vertalen naar de klimaatdiscussie. Gerbrand Komen en Arjan (beiden klimaatonderzoekers) zitten op de lijn van Dijkgraaf. Ze realiseren zich dat de CO2-hypothese een grillig kronkelpad is, vol valkuilen en onzekerheden. Maar de onderzoekers zijn integer en iedereen doet hard zijn best om met kleine stapjes vooruit te komen. Dat er bij bladen een bewuste strategie zou zijn om het decline effect te dwarsbomen geloven ze niet.

Gill zit veel meer op de lijn van McIntyre. Is de klimaatwetenschap al ver genoeg gevorderd om als basis te dienen voor internationaal politiek en economisch beleid? Met andere woorden, kunnen we de burger er mee lastig vallen? Nee, constateert McIntyre, er is nauwelijks due diligence, onvoldoende transparantie over data en source code. Het IPCC functioneert als een gatekeeper. Hoewel CO2 al lang niet meer de spectaculaire vondst is en gemeengoed is geworden, hebben bladen weerstand om het ontkrachten van de rol van CO2 toe te staan. Het decline effect treedt kortom niet op, waardoor de maatschappij denkt dat het effect van CO2 allesbepalend en desastreus is, zoals de maatschappij in het verleden dacht dat eieren eten slecht is voor je cholesterolniveau.

Persoonlijk heb ik overduidelijk meer sympathie voor de redenering van Gill. Als wetenschappers, bladen, financiers etc. met elkaar een proces hebben gecreëerd dat meer gericht is op het lanceren van spectaculaire vondsten dan op het begrijpen van de werkelijkheid, om vervolgens pas na enige tijd (jaren/decennia) toe te staan dat ‘sceptici’ deze nieuw verworven tekstboekenwijsheid mogen beginnen af te breken, dan lijkt het me oprecht beter dat de bovengenoemde partijen dit proces (zie de grafiek hieronder uit het NRC-artikel) eerst geheel doorlopen voordat ze de maatschappij ermee lastig vallen.

Ik zou zeggen dat de CO2-hypothese dit proces doorlopen heeft tot het punt “Hé, het is terug”, maar vanwege de politieke correctheid van het onderwerp is het op dat punt blijven hangen. Terwijl er aanknopingspunten genoeg zijn om de daling naar het eindpunt (Oh Oh, wat zaten wij ernaast) in te zetten.