2 okt 2011

CWTS-cursus meten van wetenschappelijke output 3

Databases en indicatoren.
CWTS zelf maakt gebruikt van de literatuurdatabase van Thomson Reuters (Web of Knowledge) die zij zelf offline ontvangen en bewerken. Uiteraard doen zij ook onderzoek naar de bruikbaarheid van andere databases en in ieder geval is het, aldus van Raan een zegen dat er meer concurrentie (Scopus, Google Scholar) is en dus het monopolie van Web of Science afkalft.
Google Scholar is vrnl. onbruikbaar, omdat er geen gegevens bekend zijn over de dekking daarvan, maar een collega op de ISSI conferentie in Zuid Afrika, zei wel, aldus een van onze docenten, dat hij blij was dat er in ieder geval iets is voor m.n. de humaniora. [Web of Science is erg gefocussed op life sciences en heeft in andere wetenschapsgebieden niet of zeer onvolledige dekking).Scopus wordt steeds beter en steeds completer, hoewel er nog steeds onverklaarbare ‘gaps’ zitten.
impact factor
Uiteraard ken ik de JCR: Journal Citation Report, waarbij Thomson Reuter ieder jaar de impact factoren van de tijdschriften publiceert. Scopus heeft daar een alternatief voor de SNIP. De SNIP index vergelijkt de citaties die een tijdschrift krijgt met de citaties die het (in de referenties bij de artikelen) geeft. En daarmee, aldus van Leeuwen krijg je een normalisatie voor het veld en worden de cijfers beter vergelijkbaar.
CWTS heeft zelf een nog betere indicator ontwikkeld de JFIS (=MNJS), die dus de citaties in een tijdschrift voor het veld normaliseert (afzet tegen het gemiddelde van die onderwerpsgroep) en die bovendien niet alleen naar de citaties uit een bepaald jaar kijkt, maar ook die van voorgaande jaren.Maar omdat ze WoS materiaal gebruiken mag de JFIS niet openbaar.
Dat neemt niet weg dat een gemiddelde zoals de journal impact factor-SNIP-JFIS toch niet zulke goede indicatoren zijn, omdat je bij alle ziet dat de distributie van de citaties ongelijk verdeeld is over de tijdschriftartikelen: een klein deel van de publicaties krijgt het merendeel van de citaties.

Wat indicatoren betreft gebruikt het CWTS het liefst de ‘genormaliseerde’indicatoren, omdat die beter met elkaar vergelijkbaar zijn, omdat omvang en veld waarin gepubliceerd wordt daarmee worden gelijkgeschakeld.
Niet/genormaliseerde indicatoren :
P= number of publications (alleen substantiele bijdrage: article, review, letter)
TCS= total citation score (self citations ignored)
MCS= mean citation score (gemiddelde citatiescore)
Genormaliseerde indicatoren:
MNCS = C/FCS + + de citatiescore gerdeeld door de veldscore = gemiddelde score in een onderwerpsveld
MNJS=JCS/FCS + + en dat kun je ook uitrekenen voor een tijdshcrift alss geheel (JFIS)
Pptop10%= om de zogenoemde ‘outliers’(enkele publicatie die extreem veel geciteerd wordt) er uit te halen en te kijken hoe de prestatie is in het topsegment van het onderzoeksgebied.
Van belang bij het bepalen van een vergelijkbare citatiescore is het citatievenster. Eventueel kun je aan een bepaald documenttype een bepaald gewicht toekennen (bijv een ‘letter’ telt dan minder zwaar als een volledig artikel).
Ludo Waltman, die de indicatoren presenteert gaat ook nog in op de h-index met de woorden ‘gebruik nooit de h-index’, iets waarover hij ook zal publiceren in JASIST.

Wat is er mis met de h-index?
De h-index geeft het kruispunt aan van aantal publicaties en aantal citaties per publicatie van een onderzoeker. Volgens CWTS-berekeningen is dat een inconsistente indicator, hij toont nl bij gelijkblijvend gedrag niet een gelijkmatige verhoging van de index. De h-index kan nooit omlaag gaan en ook nooit hoger worden dan aantal publicaties. Ook normaliseert hij niet naar verschillen in het veld, naar leeftijd en lengte van de wetenschappelijke carriere van de onderzoeker, en naar zijn gekozen publicatiestrategie.
Kortom het deugt niet.
[ Jammer genoeg is het wel een erg handig getal, wat tamelijk makkelijk zelf te produceren is zonder ingewikkelde berekeningen en toegang tot moeizaam verkregen gegevens. En zolang daarvoor i de plaats geen net zo handig hanteerbaar instrument voorhanden is zal dat ook wel gebruikt blijven, denk ik.]
Het alternatief wordt tijdens de cursus ook aangereikt: dat is wat de CWTS al doet door in samenwerking met onderzoekers en tegen de achtergrond van het onderwerpsgebied, genormaliseerde gschoonde citatiegegevens te gebruiken samen met kwalitatieve peer evaluatie.Grootse problemen bij alle indicatoren zijn er doordat onderwerpsclassificeringen niet helder zijn en er een betere methode zou moeten worden gevonden voor het contextualiseren van het onderwerpsgebied waarin onderzoeker/onderzoeksgroep werkzaam is.

Robert Tijssen gaat nog in op het begrip 'excellence'.In de huidige praktijk worden universiteiten, onderzoeksgroepen en -instituten iedere zes jaar ge-evalueerd volgens het SEP (Standaard Evaluatie Protocol). Het SEP geeft ook de definities voor de classificaties "excellent", "very good", "good" etc. Hoewel collega van Leeuwen eerder zei "er is geen directe link tussen citaties en kwaliteit, het moet altijd via 'impact'lopen " loopt het meten van kwaliteit toch vaak over het meten van impact. CWTS beveelt wel aan de gehele portfolio van kwalitatieve peer review en kwantitatieve scientormetrische gegevens te hanteren. Toch geeft een 'highly citated' analyse wel een indicatie van goede kwaliteit.Aardig is het onderzoek naar bibliometrische gegevens van Spinozaprijswinnaars. "De NWO-Spinozapremie is de hoogste Nederlandse onderscheiding in de wetenschap". Als je de resultaten van de Spinozaprijswinnaaars-kandidaten met de indicator MNSC kalibreert kom je gemiddeld op 2.1 (2x het wereldgemiddelde), kijk je alleen naar de winnaars dan kom je uit op 3 (met een standaard deviatie van 1.7 - meestal humanoria). Dat geeft toch aan dat je met die indicator, mits gekalibreert naar veld wel iets kunt zeggen.Ook blijkt dat Thomson Reuters er in zijn voorspellingen naar de Nobelprijswinnaars redelijk vaak raak schiet.Voor profilering van een onderzoeksgroep is het wel noodzaak de uitschieters eruit te halen, dat is geen voorbeeld van excellence. Dat kun je doen met de A/EPtop10% of zelfs A/EPtop1% scores.

Geen opmerkingen: