Onderzoeksevaluatie en Web of Science

Door medewerkers van de bibliotheek van de VU is een ochtend workshop georganiseerd waarbij Thomson Reuters zijn nieuwe tools & features kan presenteren op het gebied van onderzoeksevaluatie.
Ann Kushmerick van het TR hoofdkantoor in Philadelphia geeft een presentatie:

“Research evaluation: bibliometric tools and enhanced Web of Science Data”

Na een introductie over de “Research cycle”, de verschillende functionaliteiten op het Web of Knowledge platform en over ‘trends in academic research: need for data-based evaluation” komen we op de bibliometrie.
Thomson Reuters, voorheen ISI heeft ene lange geschiedenis is dit vlak en Eugene Garfield loopt nog steeds af en toe binnen in Philadelphia. En op het web onderhouden zij een Citation Impact Center.

Bibliometrie is een indicatie van de impact en het nut van een artikel: het is transparant, herhaalbaar en gemakkelijk te begrijpen.
Maar geen enkele indicator is op zichzelf allesomvattend: voor een volledige evaluatie heb je ook de financierbronnen nodig, het peer review en de prijzen.

“Citation metrics are only as good as their source”

[en WoS is natuurlijk goed!]

Web of Science heeft: “Authority, Diversity, Depth& Consistency, Unique Data”.
Andere partijen gebruiken WoS data gebruiken, zoals de NWO (en ook VSNU en KNAW) voor de SEP.

De Italiaanse onderzoeker die naast me zit vertelt dat hij zelf de hand heeft gehad in het opzetten van een nationaal systeem voor de evaluatie van onderzoek in Italië (ook gebaseerd op WoS.

Nieuwe features in Web of Science:
- Conference proceedings, ook geïntegreerd in de citatiegegevens, aanvullende JCR voor Conferenties.
- Financiersveld vanaf 2008
- Uitgebreide analytische tools: citation report, citation scorecard (in welke database), citation map (geeft visueel overzicht: bijv. zoeken naar onderwerpsgebieden die een bepaald artikel citeren, of op jaar of op auteur om potentiële partners/concurrenten te vinden)

Ze spreekt nog over de valkuilen bij het gebruik van de h-index (meet slechts over de selectie, kan nooit hoger of lager zijn dan wat erin zit) en ze geeft de 10 geboden van citatie-analyse.
[ die zouden ze eigenlijk ergens moeten opprikken]. Belangrijkste is dat citatiecijfers slechts citaties meten en geen kwaliteit en dat je voor een vergelijking de cijfers moet normaliseren (afzetten tegen een baseline).

Ook in JCR zijn nieuwe functies toegevoegd: bijv. 5 year impact factor (ipv het gebruikelijke 2 jaar venster). Journal self citation in percentage, Eigenfactor met een andere benadering zoals het wegen van geciteerd tijdschrift, en de article influence score.

Improper use in evaluation: en ja de cijfers kunnen oneigenlijk gebruik worden en dat is natuurlijk en uiteraard niet de bedoeling.

Er is inmiddels een hele ‘Research analytic suite’, die op een verschillende manier gebruikt kunnen worden om citatiegegevens op te zoeken, een geïntegreerde tool zoals Incites of standalone tabellen met ruwe data.

Ann gaat uitgebreid in op de nieuwe tool ‘Incites’: next generation web based tool , die zowel vergelijkende gegevens kan leveren (country level, field level, relative impact, rank institutions) als ‘research performance profile data’ (customized data) kan laten zien.
Zo is het ook inzichtelijk als je gebruik kunt maken van de baseline for journal citations (expected citation JXC) en de verwachting per categorie. Op die manier kun je laten zie hoe een onderzoeker, onderzoeksgroep, instituut of zelfs een heel land presteert afgezet tegen die baselines. Je kunt daaruit ook trends afleiden en samenwerkingsverbanden. En op allerlei manieren kun je er rapporten uitmaken.
Ziet er erg leuk uit, ik vrees dat het prijzig zal zijn, maar we kunnen altijd een trial vragen.
[Het nieuwe Incites is overigens iets anders als het oude ‘in-cites’ een webpagina met nieuws uit de citatiegegevens, nu vervangen door Sciencewatch]

Voor de nieuwe ResearcherID zijn nu ook webservices gemaakt zoals de mogelijkheid voor jou als instituut om de namen van de onderzoekers per onderzoeksgroep inclusief publicaties te uploaden.

Al met al een interessante ochtend.
Toch weer wat geleerd en we moeten inderdaad nog maar eens naar dat Incites kijken.

Met dank aan de UBVU voor de hosting van deze workshop.