Veel wetenschappers zijn bekend met de Journal Impact Factor (JIF), het wordt per slot van rekening steeds meer als objectieve maat gebruikt om wetenschappelijke kwaliteit aan te duiden (visitatiecommissies, hoogleraarschap, beurzen, etc.) Maar wat is die Impact Factor nou eigenlijk en wat meet de JIF nou eigenlijk? En vooral, wat meet de JIF niet?
Strict genomen is de JIF een maat voor de kwaliteit van het
gemiddelde artikel van tijdschrift X en wordt als volgt berekend (Opthof, 1997):
Het aantal citaties in jaar Y, die het resultaat zijn van artikelen uit X, gepubliceerd in de twee jaar voor jaar Y
----------------------------------------------------------------------------------------------------
Het aantal artikelen uit tijdschrift X dat geciteerd is in jaarY
Bijvoorbeeld, als 611 artikelen (gepubliceerd in 2005 en 2006) uit tijdschrift X 4827 keer geciteerd worden in 2007, dan levert dat een Impact factor van 4827/611 = 7.9 op. Als ik de subtiele bewoording weglaat (wat vast niet helemaal mag) zou ik zeggen dat dit betekent dat een artikel uit tijdschrift X gemiddeld 7.9 keer geciteerd wordt.
Dit maakt de JIF een geschikt meetinstrument om uitspraken te kunnen doen over de kwaliteit van een tijdschrift. Maar maakt dit de JIF ook geschikt om een uitspraak te doen over een individueel artikel, wetenschapper of zelfs een hele onderzoeksgroep?
Individueel artikel: Een artikel is niet per definitie een goed artikel omdat het gepubliceerd is in een tijdschrift met een hoge JIF. Als we aannemen dat een hoge citatiescore een indicatie is van kwaliteit, en vervolgens de verdeling van het aantal citaties bekijken, blijkt dat deze niet normaal verdeeld is; de meest geciteerde helft wordt namelijk 10x vaker geciteerd dan de andere helft (
Seglen, 1997). Om het heel grof te stellen; is dit zoiets als claimen dat een groep kinderen mavo-niveau heeft, terwijl in werkelijkheid de overgrote meerderheid daaronder zit, maar een paar kinderen extreem hoogbegaafd zijn.
Individuele wetenschapper: De JIF wordt wel eens gebruikt om de kwaliteit van een wetenschapper (en zijn of haar publicaties) te meten. Des te hoger de JIF's, des te beter de bedreven wetenschap. Als dit een correcte veronderstelling wat betreft de JIF is, is het redelijk om een correlatie te verwachten tussen de hoogte van de JIFs bij artikelen van deze wetenschapper en het aantal citaties dat de artikelen daarna krijgen.. toch? Fout. Analyse van dit soort gegevens laten zien dat deze correlatie er niet is (Opthof, 1997 en
Seglen, 1997).
Onderzoeksgroep: Goed.. misschien is de wetenschappelijke output van 1 wetenschapper te klein om een zichtbare correlatie tussen de JIF en het uiteindelijk aantal citaties aan te tonen... wat als we die steekproef vergroten naar een hele onderzoeksgroep? Nou.. jammer dan. Ook die vlieger gaat niet op. Zelfs op het moment dat je de steekproef vergroot naar naar een heel land, dan nog blijkt de JIF geen goede voorspeller van het aantal citaties (bijv. Turkije op het gebied van General Medicine: het gemiddeld aantal citaties verwacht op basis van de JIF van de tijdschriften: 1.3; het daadwerkelijke gemiddelde bleek: 0.3 (Braun, Glanzel & Grupp, 1996))
=> Kort gezegd is het zo dat artikelen uit een tijdschrift die veel geciteerd worden, ervoor zorgen dat het tijdschrift een hogere Impact Factor krijgt. Maar je kan dit niet zonder meer omdraaien, laat staan uitbreiden.
Als A dan B impliceert geen
als B dan A.. toch?
Wist u overigens dat...