Strict genomen is de JIF een maat voor de kwaliteit van het gemiddelde artikel van tijdschrift X en wordt als volgt berekend (Opthof, 1997):
Het aantal citaties in jaar Y, die het resultaat zijn van artikelen uit X, gepubliceerd in de twee jaar voor jaar Y
----------------------------------------------------------------------------------------------------
Het aantal artikelen uit tijdschrift X dat geciteerd is in jaarY
Bijvoorbeeld, als 611 artikelen (gepubliceerd in 2005 en 2006) uit tijdschrift X 4827 keer geciteerd worden in 2007, dan levert dat een Impact factor van 4827/611 = 7.9 op. Als ik de subtiele bewoording weglaat (wat vast niet helemaal mag) zou ik zeggen dat dit betekent dat een artikel uit tijdschrift X gemiddeld 7.9 keer geciteerd wordt.
Dit maakt de JIF een geschikt meetinstrument om uitspraken te kunnen doen over de kwaliteit van een tijdschrift. Maar maakt dit de JIF ook geschikt om een uitspraak te doen over een individueel artikel, wetenschapper of zelfs een hele onderzoeksgroep?
Individueel artikel: Een artikel is niet per definitie een goed artikel omdat het gepubliceerd is in een tijdschrift met een hoge JIF. Als we aannemen dat een hoge citatiescore een indicatie is van kwaliteit, en vervolgens de verdeling van het aantal citaties bekijken, blijkt dat deze niet normaal verdeeld is; de meest geciteerde helft wordt namelijk 10x vaker geciteerd dan de andere helft (Seglen, 1997). Om het heel grof te stellen; is dit zoiets als claimen dat een groep kinderen mavo-niveau heeft, terwijl in werkelijkheid de overgrote meerderheid daaronder zit, maar een paar kinderen extreem hoogbegaafd zijn.
Individuele wetenschapper: De JIF wordt wel eens gebruikt om de kwaliteit van een wetenschapper (en zijn of haar publicaties) te meten. Des te hoger de JIF's, des te beter de bedreven wetenschap. Als dit een correcte veronderstelling wat betreft de JIF is, is het redelijk om een correlatie te verwachten tussen de hoogte van de JIFs bij artikelen van deze wetenschapper en het aantal citaties dat de artikelen daarna krijgen.. toch? Fout. Analyse van dit soort gegevens laten zien dat deze correlatie er niet is (Opthof, 1997 en Seglen, 1997).
Onderzoeksgroep: Goed.. misschien is de wetenschappelijke output van 1 wetenschapper te klein om een zichtbare correlatie tussen de JIF en het uiteindelijk aantal citaties aan te tonen... wat als we die steekproef vergroten naar een hele onderzoeksgroep? Nou.. jammer dan. Ook die vlieger gaat niet op. Zelfs op het moment dat je de steekproef vergroot naar naar een heel land, dan nog blijkt de JIF geen goede voorspeller van het aantal citaties (bijv. Turkije op het gebied van General Medicine: het gemiddeld aantal citaties verwacht op basis van de JIF van de tijdschriften: 1.3; het daadwerkelijke gemiddelde bleek: 0.3 (Braun, Glanzel & Grupp, 1996))
=> Kort gezegd is het zo dat artikelen uit een tijdschrift die veel geciteerd worden, ervoor zorgen dat het tijdschrift een hogere Impact Factor krijgt. Maar je kan dit niet zonder meer omdraaien, laat staan uitbreiden. Als A dan B impliceert geen als B dan A.. toch?
Wist u overigens dat...
Tijdschriften een hogere JIF hebben als..
- .. ze een korte publicatietijd hebben (dus tussen indienen en daadwerkelijk publiceren)
- .. er veel gebruik gemaakt wordt van zelfcitatie
- .. de artikelen langer zijn
- .. ze reviews bevatten
- .. ze editorials, letters, meeting abstracts en open peer reviews opnemen in hun tijdschrift. Verwijzingen uit deze bronnen tellen namelijk mee als citatie.
Wist u verder dat..
- Verwijzingen uit boeken daarentegen niet meegenomen worden om de JIF te berekenen.
- Slechts 2,5% van het hele (wetenschappelijke, peer-reviewed) tijdschriftenaanbod in de database zit waarop de JIF gebaseerd wordt. Met grote verschillen in dekking tussen vakgebieden..
- Dynamische vakgebieden waarin kennis snel 'veroudert', tijdschriften met hogere impactfactoren hebben omdat de kans dat men artikelen gebruikt van minder dan 2 jaar oud veel groter is.
- De gemiddelde impact van de Amerikaanse wetenschap 30% boven het gemiddelde van de rest van de wereld ligt. Niet onbegrijpelijk sinds de bovengenoemde 2,5% voornamelijk Engelstalige tijdschriften bevat.
- 83% van de referenties van een Amerikaanse publicatie in het 1e jaar, van andere Amerikaanse publicaties zijn. Dit trekt pas bij na 3 jaar.
Literatuur:
- Opthof, T. (1997) Sense and nonsense about the impact factor. Cardiovascular Research, 33, 1-7
- Seglen, P. O. (1997) Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314:497.
- Deze literatuur en meer over citatieanalyse: delicious.com/jannekestaaks/citation
- Foto gemaakt door Matthew Stewart
Geen opmerkingen:
Een reactie posten