20 okt. 2011

Het Bureau


Dit najaar ben ik begonnen te lezen in Het Bureau van J.J.Voskuil. Een romancyclus in 7 delen die de dagelijkse gang van zaken verhaalt vanaf de jaren '50 tot '90 op het KNAW-instituut voor Volkskunde (het huidige Meertens-instituut).
Hoofdpersoon is Maarten Koning, die eerst als assistent, later opvolger van A. Beerta afdelingshoofd Volkskunde is.
Sinds 2007 ben ik zelf werkzaam bij KNAW, en ik kan zeggen dat ik het beschreven, de sfeer en de relaties zeer herkenbaar vind.
Het Meertens-instituut zelf ken ik niet zo, maar de omschreven sfeer en het gedachtengoed leeft nog steeds in KNAW-kringen. Prachtig beschreven zijn de soms moeizame contacten met de collega's (sociale omgang was niet Maarten Koning's sterke kant) en zijn overdenkingen, aarzelingen en twijfels.
Het Meertens-instituut heeft wat oude foto's over de tijd waarin Het Bureau speelde op het web gezet en er zijn wat naamsverwijzingen (niet bijgewerkt) gepubliceerd. Interessant is ook het artikel van J. Goossens over het wetenschappelijk bedrijf uit de roman " J. Goossens, ‘Het wetenschappelijk bedrijf in Voskuils roman Het Bureau.’ In: Literatuur 14 (1997), p. 130-137. ".
Fascinerend om te lezen.
Het eerste deel werd gepubliceerd en er was een tijdlang sprake van een literaire hype rondom de cyclus. Nu is er enkel nog een twitter. Maar samen met een collega beleef ik er veel plezier aan.

3 okt. 2011

CWTS-cursus meten van wetenschappelijke output 5


Vorige week ben ik 5 dagen lang naar Leiden getogen voor deGraduate Course “Measuring Science and Research Performance” van het CWTS, hetCentre for Science and Technology Studies van de Unviersiteit leiden.




De dagthema’s waren:

- World of Science, Technology and Innovation
- Research Performance Measurements and Indicators
- Research management perspectives
- Science Mapping
- Science Policy Contexts
- Scientometrics 2.0


Hoewel onderdeel van de Universiteits Leiden heeft het CWTS ook een terugverdienopdracht. Dat bleek soms ook wel bij de uitwijding oversommige toepassingen. Voor hun toekomstige ambitie om ‘Center of Experience’ teworden kan dat een nadeel zijn. Soms was de spagaat tussen het delen vanervaringen en uitwisselen van ideeen enerzijds en het beschermen vancommerciele belangen te sterk aanwezig.


Er was veel aan gedaan het programma gevarieerd en veelzijdig op te zetten en alle aspecten en onderzoeksgebieden van het CWTS kwamen dan ook wel aan bod. Helaas was er minder aandacht voor de methoden voor de cursisten om zelf de aanwezige gegevens te verzamelen en te interpreteren.


Een belangrijke boodschap was dat je de citatiecijfers alszodanig niet zomaar, ongenuanceerd kunt gebruiken, maar dat je die dient af tezetten tegen het algemene prestatiecijfer van het veld.


Ze waarschuwden ook tegen het ‘quick and dirty’ verzamelen en gebruiken van gegevens, maar als het alternatief is om CWTS in te huren heeft dat wel een beetje een toon van eigen belang .
Uiteraard is het zorgvuldig interpreteren, verzamelen en schonen van gegevens belangrijk en uiteraard dienen die cijfers in een geheel met andere indicatoren(ook kwalitatieve) gebruikt te worden. Maar soms geven die quick-and-dirty ggevens toch wel een aardig trend aan.

Wat eigenlijk ook wel steekt is dat alle gegevens die gebruikt worden voor bibliometrische overzichten van 2 grote commerciële firma’s(Thomson Reuters en Elsevier) komen. Dat geeft toch ook een niet zo grootvertrouwen in het geheel.
Zelf worstel ik altijd met de onderwerps-indelingen en dat blijkt ook inderdaad een groot probleem te zijn. Om nog maar te zwijgen van de gemankeerde aandachtvoor humaniora in de cijfergegevens. Wellicht dat het met de komst van de BookCitation Index van WoS beter gaat.



Volgend jaar gaat de cursus aangepast worden, maar duidelijkis wel dat er sprake is van een groeiende belangstelling.
Erg interessant vond ik ook de ingangen tot het waarderen van wetenschappelijke onderzoek in termen van economische groei, innovatie en maatschappelijke waardering.





De cursus werd gegeven in het Willem Einthovengebouw aan de Wassenaarseweg, achter het LUMC. De cursus werd in het Engels gegeven, de medestudenten kwamen uit verschillende landen (NL, SW, FI, DK, FR, IT, AU, ZA,UK).

Al meteen werd duidelijk dat de leszaal in het gebouw te klein was voor het aantal (20) studenten, en door het warme weer werd het wel erg benauwd, gelukkig was er wel veel water voorhanden. Er waren wel voldoende elektriciteitspunten en we kregen allemaal een tijdelijk webaccount, ongeveer de helft had een laptop, er was er een met een iPad en de rest maakte aantekeningen met de hand. Lunch en diner waren goed verzorgd,lunch in het atrium van het gebouw en diner in buffet-restaurant Luxor. Helaas was de koffievoorziening matig, tijdens de lunch en in de – eerste – middag zelfs afwezig.






Als cursusmateriaal kregen we het boek ‘Citation analysis in research evaluation’van Henk Moed, en dat ga ik komende week eens doorlezen, venals ‘The Publish or Perish Book’ van Anne-Will Harzing (hoorde niet tot eesmateriaal).


Tijdens de cursus en in de ‘suggestions for further reading’ werden nog een aantal leestips gegeven, die ik verzameld heb in een Endnote-bestand (39 titels) dat beschikbaar is via mijndropbox.






CWTS-cursus meten van wetenschappelijke output 4




Ranking en Research management
Hoe kun je het wetenschappelijk onderzoek meten en de prestaties van universiteiten met elkaar vergelijken?
[In de ranking-systemen worden alleen universiteiten met elkaar vergeleken, omdat er voor onderzoeksinstituten - zoals bijv. het excellent presterende Max Planck Inst. geen vergelijkbare plek is, ook niet voor afzonderlijke onderzoeksinstituten. ook noemt Van Raan het probleem van de academische ziekenhuizen, die vaak verantwoordelijk zijn voor de helft van de output, maar soms moeilijkaan een universiteit te koppelen].
Allen zijn gebaseerd op de 2 commerciële producten (WoS)en (Scopus).

1. TimesHigher Education is ingedeeld in 5 categorien (teaching, research, citations, industry income, international) met een verschillende weging gebaseerd op ‘expert enthusiasm’. 2/3 is gebaseerd op citaties.


2. QS deelt ongeveer in dezelfde categorieen in, maar heeft als extra ‘employer reputation’

3. Shanghai, Academic Ranking of World Universities(ARWU), is heel erg ‘size dependent’. Trotsop oude prijswinnaars, maar zegt niets over potentieel. Bij citaties wordt alleen gekeken naar de highly cited (dus past performance)met nadruk op reputatie.

4. Leidenranking .Het kost veel tijd om websites na te kijken en om netwerk met contactpersonente onderhouden. Ranking op basis van genormaliseerde bibliometrische indicatoren, nu MNCS2 (voorheen CPP/FCSm). Het algemeen plaatje is dat als je als universiteit bij eerste 300 hoort het nog goed zit, daarna gaat de curve scherp naar beneden (hypothese van Raan: er zijn niet meer goede wetenschappers om meer goede universiteiten te bevolken). Voor Frans en Duits zijn aparte lijsten gemaakt.Gemiddelden in studies zijn niet altijd de beste indicator vanwege de ‘skewed distribution’, dan is highly cited beter (A/EPtop10%)

5. U-Multirank, een EU-project.


Naast dit soort ranking kunje ook op andere terreinen aan internationale benchmarking doen. Maar het is lastig om vergelijkbare indicatoren op te stellen.Tijssen geeft een overzicht van de wetenschappelijke indicatoren; technologie-indicatoren (zie ook het University-industry Scoreboard van CWTS); en innovatie indicatoren (bijv. voor het EriC,Evaluation of Research in Context van de KNAW en VSNU is geprobeerd te valoriseren, maar verder dan showcases komt men (nog) niet.
Ook Leru heeft alleen case-beschrijvingen).


Science mapping

Naast het ranken wordt er m.b.v. allerlei moderne textmining instrumenten geprobeerd de hele wetenschap in kaart te brengen. Kaarten die gebaseerd zijn op de bibliometrische netwerken van publicaties, co-auteurschap, cocitaties e.d.CWTS heeft voor visualisering van die gegevens de zogenoemde VosViewer ontwikkeld. Door de kaarten kun je aldus Noyons en Waltman, dichter bij de data blijven. De kaarten maken clustering mogelijk en kunnen verschillende dimensies weergeven. Van de basis bibliometrische netwerken, maak je afgeleide netwerken die je naar symmetrische matrixen kunt overbrengen en die kun je visualiseren.Zo heeft CWTS bijvoorbeeld alle onderwerpsgebieden uit WoS voor indelen van tijdschriften in kaart gebracht.Dat geeft toch een mooi beeld van de wetenschap en de vertegenwoordiging van artikelen in de WoS-database. [Ik kan me herinneren dat we vroeger zoiets geprobeerd hebben m.b.v. thesauri, maar dat is toen gestrand, ook vw de omvang]. Ook een mooie is de kaart van de tijdschriften zelf:












Wetenschapsbeleid
Cornelis van Bochove neemt een heel andere invalshoek, hij kijkt naar de invloed van Human Resources Management en carrière-politiek op de wetenschappelijke prestaties.Stelling ”Scienceoutput is the sum of competence, aptitude and randomness”. Hij wil onderzoeken of het voor de prestaties wat uitmaakt als je een onderzoeker eerder een vaste aanstelling geeft, dus eerder in zijn carrière uitselecteert. Hij laat met een Pareto-distributie zie hoe dat in de verschillende scenario’s eruit ziet. Als verschillen tussen mensen groter zijn, dan is de invloed van selectie op totale output enorm. Snelle selectie levert dus meer op.Van Bochove kijkt ook naar de economische groei, wat is het aandeel van de wetenschap in de economische groei. Daarbij komt hij tot nogal wat verrassende uitspraken. Fundamenteel onderzoek is nodig om de barriere van de ‘known laws of nature’ te verleggen. Fundamenteel onderzoek vraagt om extra getalenteerde mensen, waarbij de tijdsfactor (=leerfactor) belangrijker is dan geld; meer Einsteins, of rijkere Einsteins hadden niet sneller de relativiteitstheorie kunnen ontdekken. Je krijgt snelle groei als je veel geld stopt in toegepaste R&D op basis van bekende ‘laws of nature’ (zie Azie)Je krijgt stabiele groei op basis van het basic research model afhankelijk van leertijd (zie Japan, vanaf 80 jaren hadden ze niveau van het Westen gehaald en basic research genegeerd toen ging het neerwaarts).De essentie van economische groei zit hem dus, aldus Van Bochove in het Basic Research Model.Die boodschap, om met name te investeren in fundamenteel onderzoek is een interesante gedachte en zal hij uitwerken in een nog te verschijnen artikel.


2 okt. 2011

CWTS-cursus meten van wetenschappelijke output 3

Databases en indicatoren.
CWTS zelf maakt gebruikt van de literatuurdatabase van Thomson Reuters (Web of Knowledge) die zij zelf offline ontvangen en bewerken. Uiteraard doen zij ook onderzoek naar de bruikbaarheid van andere databases en in ieder geval is het, aldus van Raan een zegen dat er meer concurrentie (Scopus, Google Scholar) is en dus het monopolie van Web of Science afkalft.
Google Scholar is vrnl. onbruikbaar, omdat er geen gegevens bekend zijn over de dekking daarvan, maar een collega op de ISSI conferentie in Zuid Afrika, zei wel, aldus een van onze docenten, dat hij blij was dat er in ieder geval iets is voor m.n. de humaniora. [Web of Science is erg gefocussed op life sciences en heeft in andere wetenschapsgebieden niet of zeer onvolledige dekking).Scopus wordt steeds beter en steeds completer, hoewel er nog steeds onverklaarbare ‘gaps’ zitten.
impact factor
Uiteraard ken ik de JCR: Journal Citation Report, waarbij Thomson Reuter ieder jaar de impact factoren van de tijdschriften publiceert. Scopus heeft daar een alternatief voor de SNIP. De SNIP index vergelijkt de citaties die een tijdschrift krijgt met de citaties die het (in de referenties bij de artikelen) geeft. En daarmee, aldus van Leeuwen krijg je een normalisatie voor het veld en worden de cijfers beter vergelijkbaar.
CWTS heeft zelf een nog betere indicator ontwikkeld de JFIS (=MNJS), die dus de citaties in een tijdschrift voor het veld normaliseert (afzet tegen het gemiddelde van die onderwerpsgroep) en die bovendien niet alleen naar de citaties uit een bepaald jaar kijkt, maar ook die van voorgaande jaren.Maar omdat ze WoS materiaal gebruiken mag de JFIS niet openbaar.
Dat neemt niet weg dat een gemiddelde zoals de journal impact factor-SNIP-JFIS toch niet zulke goede indicatoren zijn, omdat je bij alle ziet dat de distributie van de citaties ongelijk verdeeld is over de tijdschriftartikelen: een klein deel van de publicaties krijgt het merendeel van de citaties.

Wat indicatoren betreft gebruikt het CWTS het liefst de ‘genormaliseerde’indicatoren, omdat die beter met elkaar vergelijkbaar zijn, omdat omvang en veld waarin gepubliceerd wordt daarmee worden gelijkgeschakeld.
Niet/genormaliseerde indicatoren :
P= number of publications (alleen substantiele bijdrage: article, review, letter)
TCS= total citation score (self citations ignored)
MCS= mean citation score (gemiddelde citatiescore)
Genormaliseerde indicatoren:
MNCS = C/FCS + + de citatiescore gerdeeld door de veldscore = gemiddelde score in een onderwerpsveld
MNJS=JCS/FCS + + en dat kun je ook uitrekenen voor een tijdshcrift alss geheel (JFIS)
Pptop10%= om de zogenoemde ‘outliers’(enkele publicatie die extreem veel geciteerd wordt) er uit te halen en te kijken hoe de prestatie is in het topsegment van het onderzoeksgebied.
Van belang bij het bepalen van een vergelijkbare citatiescore is het citatievenster. Eventueel kun je aan een bepaald documenttype een bepaald gewicht toekennen (bijv een ‘letter’ telt dan minder zwaar als een volledig artikel).
Ludo Waltman, die de indicatoren presenteert gaat ook nog in op de h-index met de woorden ‘gebruik nooit de h-index’, iets waarover hij ook zal publiceren in JASIST.

Wat is er mis met de h-index?
De h-index geeft het kruispunt aan van aantal publicaties en aantal citaties per publicatie van een onderzoeker. Volgens CWTS-berekeningen is dat een inconsistente indicator, hij toont nl bij gelijkblijvend gedrag niet een gelijkmatige verhoging van de index. De h-index kan nooit omlaag gaan en ook nooit hoger worden dan aantal publicaties. Ook normaliseert hij niet naar verschillen in het veld, naar leeftijd en lengte van de wetenschappelijke carriere van de onderzoeker, en naar zijn gekozen publicatiestrategie.
Kortom het deugt niet.
[ Jammer genoeg is het wel een erg handig getal, wat tamelijk makkelijk zelf te produceren is zonder ingewikkelde berekeningen en toegang tot moeizaam verkregen gegevens. En zolang daarvoor i de plaats geen net zo handig hanteerbaar instrument voorhanden is zal dat ook wel gebruikt blijven, denk ik.]
Het alternatief wordt tijdens de cursus ook aangereikt: dat is wat de CWTS al doet door in samenwerking met onderzoekers en tegen de achtergrond van het onderwerpsgebied, genormaliseerde gschoonde citatiegegevens te gebruiken samen met kwalitatieve peer evaluatie.Grootse problemen bij alle indicatoren zijn er doordat onderwerpsclassificeringen niet helder zijn en er een betere methode zou moeten worden gevonden voor het contextualiseren van het onderwerpsgebied waarin onderzoeker/onderzoeksgroep werkzaam is.

Robert Tijssen gaat nog in op het begrip 'excellence'.In de huidige praktijk worden universiteiten, onderzoeksgroepen en -instituten iedere zes jaar ge-evalueerd volgens het SEP (Standaard Evaluatie Protocol). Het SEP geeft ook de definities voor de classificaties "excellent", "very good", "good" etc. Hoewel collega van Leeuwen eerder zei "er is geen directe link tussen citaties en kwaliteit, het moet altijd via 'impact'lopen " loopt het meten van kwaliteit toch vaak over het meten van impact. CWTS beveelt wel aan de gehele portfolio van kwalitatieve peer review en kwantitatieve scientormetrische gegevens te hanteren. Toch geeft een 'highly citated' analyse wel een indicatie van goede kwaliteit.Aardig is het onderzoek naar bibliometrische gegevens van Spinozaprijswinnaars. "De NWO-Spinozapremie is de hoogste Nederlandse onderscheiding in de wetenschap". Als je de resultaten van de Spinozaprijswinnaaars-kandidaten met de indicator MNSC kalibreert kom je gemiddeld op 2.1 (2x het wereldgemiddelde), kijk je alleen naar de winnaars dan kom je uit op 3 (met een standaard deviatie van 1.7 - meestal humanoria). Dat geeft toch aan dat je met die indicator, mits gekalibreert naar veld wel iets kunt zeggen.Ook blijkt dat Thomson Reuters er in zijn voorspellingen naar de Nobelprijswinnaars redelijk vaak raak schiet.Voor profilering van een onderzoeksgroep is het wel noodzaak de uitschieters eruit te halen, dat is geen voorbeeld van excellence. Dat kun je doen met de A/EPtop10% of zelfs A/EPtop1% scores.

1 okt. 2011

CWTS-cursus meten van wetenschappelijke output 2

Maatschappelijke relevantie en de waarde van de wetenschap voor innovatie.
Prof Robert Tijssen gaat in op kenmerken van wetenschap en innovatie, hoe kun je wetenschap, de bijdrage van de wetenschap aan innovatie i.c. innovatieve producten herkennen?
De outputs zijn niet alleen publicaties, maar ook standaarden, training van Phd’s, patenten e.d., die hebben impact op de media en overhead en dat leidt tot beleid en economische inpassing in nieuwe processen en producten. Daaruit vloeien dan weer de ‘outcomes’ voort, de maatschappelijke en commerciële opbrengsten.
Om die opbrengsten en invloeden te meten kun je verschillende toolboxen gebruiken waaronder bibliometrische studies )maar ook econometrische en management studies en surveys.
Het is nog niet zo eenvoudig om de invloed van wetenschappelijk werk te meten, omdat je eerst moet weten wie de gebruikers zijn en wie er van profiteren, omdat er vaak sprake is van meervoudige invloeden. Ook kan er soms een behoorlijke tijdspanne zitten tussen onderzoek en een meetbaar resultaat. Causaliteit blijft moeilijk aantoonbaar.
Anders dan bijv. bibliometrische citatiepatronen laten ook surveys een overzicht zien van de waarde van de wetenschap. Bijvoorbeeld in een survey heeft de EU laten onderzoeken wat de houding van Europeanen is t.a.v. de wetenschap (Eurobarometer 340). Daaruit blijkt dat toch meer dan de helft van de bevolking positief staat t.o.v.de wetenschap en de maatschappelijke bijdrage van de wetenschap. Later in de week laat Ingeborg Meijer ons zien dat er naast bibliometrische methoden en survey’s nog andere methoden zijn om het maatschappelijk belang van onderzoek te meten. Zij hebben dat gedaan bij LUMC. Dat is wel een aardige aanvulling i.v.m. toenemend belang van ‘valorisatie’ (maatschappelijke waarde, ook ondernemerschap of publiek-private samenwerking).
Wel kom je, aldus Meijer snel in discussie terecht over meten van wetenschappelijke resultaten: kwantitatief vs kwalitatief, strikt wetenschappelijk en/of valorisatie, welke indicatoren je gebruikt en hoe die ingezet (c.q. gemanipuleerd )kunnen worden.
De methodologische vragen naar de robuustheid van de systematiek en de waarde ervan, m.n. vanwege het ontbreken van de relatie tot de wetenschappelijke kwaliteit.
Toevalligerwijs is er net die dag een onderzoek gepubliceerd van een consultancy bureau dat de economische verdiencapaciteit van de universiteit Leiden heeft gemeten en tot de conclusie komt dat leiden 4x zoveel opbrengt als het kost.

Tijssen laat in een aardige grafiek uit Google labs zien dat je bijvoorbeeld met Google books een aantal onderwerpen kunt vergelijken door in de full text van boeken te zoeken en te kijken naar het voorkomen van het gebruik van die termen (termen als innovatie, bibliometrics).