Metis 2011

Metis is het onderzoeksregistratiesysteem [ofwel een CRIS (= Current Research Information System)]van de universiteiten. Het is ontwikkeld door het Universitair Centrum voor Informatievoorziening van de Radboud Universiteit in Nijmegen en wordt door alle universiteiten gebruikt. Metis is een Oracle databasesysteem dat functioneert samen met Macromedia Coldfusion. En is via Internet te gebruiken. Zie ook de Metis guide (handleiding) en demo (2006).

In oktober 2007 heb ik mijn eerste stukje over Metis geschreven en ik zie nu dat er al veel veranderd is sinds die tijd. Links die niet meer werken, maar ook hele modules en systemen die veranderd zijn. Zo is de Consultatie-module van Metis (de toegangen tot de verschillende Metis-systemen per universiteit) uit de lucht genomen en Dare, het repository-project is nu omgevormd tot NARCIS. In Narcis kun je nog wel een overzicht van de aangesloten repositories vinden. Maar of die allemaal Metis gebruiken weet ik niet.

Metis wordt door de KNAW en ook door andere universiteiten gebruikt als managementinformatiesysteem over de uitkomsten van onderzoek enerzijds en anderzijds als toegangspoort tot de repository. Voor de repository zelf wordt weer aparte software gebruikt.
Het idee van Metis is dat alle onderzoeksinstellingen op uniforme wijze de inzet en de uitkomsten van het onderzoek kunnen rapporteren (aan ministerie). Het gaat dan om cijfers: met zoveel fte personeel kunnen zoveel publicaties, zoveel lezingen, zoveel bezoeken en zoveel overige functies bekleedt worden. Dit alles volgens de definities van het SEP, het standaard evaluatie protocol.
In 2008 heb ik een blogpost over SEP geschreven. Zover ik weet werken nog alle universiteiten met SEP en worden ze eens in de 4-6 jaar gevalueerd aan de hand van SEP. Zie ook de bijgewerkte brochure over het Nederlandse wetenschapssysteem van het ministerie.

Er gaan wel stemmen op om meer te doen aan ´valorisatie´, daar is ook het evaluatievoorstel EriC opgebaseerd, maar echt operationeel is dat (nog) niet. Ook de VSNU heeft op de website wat informatie over valorisatie.

De VSNU heeft ook een aantal definitie-afspraken beschreven, die gehanteert kunnen worden bij het bepalen van de soort gegevens waarop geraportteerd moet worden. De UB van de Universiteit van Maastricht heeft een overzicht gepubliceerd over de Metis-resultaattypen en de relatie met de VSNU-SEP definities.


Metis werkt volgens het datamodel van EuroCris (Cerif)

” Gradually the need for a standard format for interchange of R&D information was seen. The European Commission put together a group of experts nominated by national governments with the purpose to define a Common European Research Information Format (CERIF).”

Op de site van EuroCris is meer informatie over de geschiedenis van CRIS en van dit Cerif-formaat.
Niet alleen Metis werkt op basis van dit Cerif-datamodel ook andere CRIS software, zoals Pure (Deens) en Converis (wordt gebruikt door LUMC e.a. medische universiteiten).

Dus het begint bij de SEP, dat schrijft voor dat de onderzoeksinstellingen moeten rapporteren over wat ze presteren. In de praktijk gaat het over de aantallen: aantallen publicaties, aantal dissertaties , aantal congressen, aantal andere activiteiten.
Die prestaties=activiteiten kunnen per persoon worden geregistreerd in Metis. Metis heeft daartoe een module – Personal Metis – waar een onderzoeker zelf zijn eigen activiteiten : publicaties etc. kan registreren. De onderzoeker heeft een uitgebreide lijst van zogenoemde resultaattypen = soorten activiteiten = waarop hij kan rapporteren. Voor het NIOO hebben we er nu zo’n 20 op een lijstje varierend van “wetenschappelijk tijdschriftartikel” – via “niet wetenschappelijk boekhoofdstuk” en “invited speaker” tot “patent”.
Die jaarlijkse rapportages gebruiken we voor het interne jaarverslag – het Business Report – en voor de cijfermatige rapportage aan de KNAW (die op zijn beurt weer rapporteert aan het ministerie).



Metis heeft naast een Personal Metis per onderzoeker een algemene Data Entry & Control Module, bedoeld voor de institutioneel beheerders.
Met deze beheermodule kan ik als beheerder correcties doorvoeren en namen van medewerkers toevoegen en of aanpassen en daarmee ook accounts beheren.



In een diagram geeft de ontwerper aan hoe het Metis-systeem in elkaar zit en onderling verbonden is. Daarbij zijn de begrippen belangrijk als werkrelatie (hoe is een auteur verbonden methet instituut), onderzoeksactiviteit en onderzoeksbijdrage (bijv. projecten, maar kan ook afdelingscoderingen), organisatieonderdeel (afdeling) en resultaten (resultaattypen, soorten activiteiten).
Het vereist wele en heel ander jargon voor je een beetje vlot met het systeem kunt omgaan. Er zijn ook verschillende soorten classificaties die je kunt gebruiken: VSNU-classificatie, resultaattypen-classificatie en een interne classificatie. Dat maakt het soms erg verwarrend.





Vanuit de beheermodule is het mogelijk om een aantal overzichten te maken m.b.v. verschillende filters. Helaas is het systeem toch een tikje te star om echt mooie overzichten te genereren. We gebruiken de publicatielijsten uit Metis nu wel om – dynamisch – overzichten op onze website te publiceren. Bij iedere publicatie die wordt toegevoegd worden de publicatielijsten op de website aangepast. Dat werkt nu wel heel mooi.
Ook kun je importeren uit Endnote en exporteren naar RIS-formaat. Op dit moment wordt onderzocht of er ook rechtstreeks vanuit Web of Science kan worden geimporteerd.

De KNAW heeft een koppeling tot stand gebracht tussen Metis en de software Eprints. Met Eprints runnen we onze repository. Vanuit Metis kunnen wij, en via Personal Metis kan de onderzoeker zelf ook, de full text van zijn publicatie uploaden en ter beschikking stellen. Uiteraard alleen indien dat is geoorloofd (Open Access).
De metadata voor de full text komt dus uit Metis en wordt in Eprints gekoppeld aan de pdf. We proberen nu ook de ‘green road’ operationeel te krijgen, d.w.z. dat onderzoekers hun definitieve auteursversie (die al is gepeerreviewed, maar nog niet gelayout) kunnen uploaden naar de repository. De publicaties zijn dan onmiddellijk voor eidereen toegankelijk.
De publicaties in de repository worden door Narcis geharvest en op die manier zijn ze te vinden in het overzicht van de Nederlandse wetenschappelijke literatuur.

Omdat het Metis-systeem een jaren negentig software-architectuur kent, waarbij ook nog eens vanuit verschillende kanten input aan gegeven is, wordt het tijd om een ander systeem te gaan gebruiken. Daartoe is de MetisGebruikersgroep overgegaan tot het opstellen van een programma van eisen en een plan van aanpak. Marc Dupuis beschrijft in de Newsletter van de Association for Learning Technology wat er speelt bij de aanbestedings van zo’n nieuw onderzoeksinformatiesysteem, ofwel een CRIS (= Current Research Information System).

Het ziet er evenwel naar uit dat we voorlopig nog wel met Metis blijven werken.

Narcis

Tijdens de KNAW-METIS bijeenkomst van jl donderdag kregen we ook een presentatie over NARCIS, of beter gezegd over de koppeling van Narcis met NOD en METIS.

Narcis is de opvolger van DARE,bestaande uit universitaire repositories, proefschriftensite en Keur der wetenschap. Narcis wordt nu een ‘wetenschapsportaal’ genomen.

Narcis harvest gegevens uit de universitaire en KNAW-repositories, uit de NOD (de Nederlandse onderzoeksdatabank) en uit DANS data-archieven en ook uit Open Acess-repositories. De KB stelt dit alles dan weer veilig en bewaard het duurzaam.

Narcis wordt onderhouden door de afdeling Onderzoeksinformatie van de KNAW. Een van de medewerkers liet in een mooi plaatje zien hoe dat in zijn werk gaat.




Het begint dus met METIS. Metis is het onderzoeksregistratiesysteem van de universiteiten en ook wij, als KNAW gaan deze software gebruiken voor onze onderzoeksregistratie. Daaraan wordt Eprints als repository-software gekoppeld, zodat we een volledige opslag van onze publicatiegegevens hebben: METIS als bibliografische beschrijving en de full-text in Eprints.

Vanuit METIS kun je de gegevens naar automatisch naar de NOD laten sturen. In de NOD worden vanuit METIS voornamelijk de activiteiten/projecten gepresenteerd.
Vanuit METIS kun je ook met een XML-stylesheet gegevens ophalen en die presenteren of je website, of laten harvesten zoals Narcis doet. Dus zowel de instituuts-, afdelings- als persoonlijke publicatielijsten kunnen daaruit komen.

Narcis kan dus, als METIS goed gevuld is, een goed overzicht geven van alle publicaties van een instituut en ook van een individuele onderzoeker .

Dit alles tezamen kan ervoor zorgen dat een onderzoeker niet veel extra’s hoeft te doen om op meerdere platforms goed vertegenwoordigt te zijn. [ Ik raad daarnaast voor iedere onderzoeker nog het ResearcherID aan, om dat hij dan zelf invloed kan uitoefenen op zijn publicatielijst, onafhankelijk van het instituut en ook zijn citatierapport daarmee kan presenteren].

Ik vond dit er aanzienlijk beter uitzien dan vorig jaar, toen we de melding kregen dat de Keur overging naar Narcis. Dit levert wel goede mogelijkheden voor een beter beheer en presentatie van de gegevens. Je kunt ook een RSS-feed nemen op de pagina van een onderzoeker en je kunt de bibliografische gegevens overhalen in Zotero (voor een inlezen in Endnote wordt een mogelijkheid gezocht).

Nu is het alleen nog zaak, alle publicaties in METIS te krijgen en daarna om onze lopende publicatielijsten over te zetten in METIS, als vaste procedure.

Daarnaast moeten de onderzoekers zelf (of secretariaat) de projecten en de overige outcome-gegevens, die men gepresenteerd wil zien bijhouden.

Leuk stukje werk voor komende zomer:)

Demo SEP UMC

Ria van de Velde geeft overzicht van hoe zij de SEP evaluatie heeft uitgevoerd uit METIS.
Probleem kwam al met de functie aanduidingen, vast en tijdelijk niet doorgevoerd en geen 'supporting staff', die zijn allemaal in 'other tenured staff'. geplaatst.
Na een zelfevaluatie in 2004 hebben ze het aantal functies geordend en geminimaliseerd.
Dat moest in Metis handmatig aangepast worden, en daarna 'SEP'-klaar maken, omdart dat werkt met een combinatie van velden: functie+aanstelling+categorie.
Ze heeft 2 jaar voorbereiding nodig gehad, en controleren of FTE klopt met de geldstromen. En de geldstroom tabellen moet je per jaar alles optellen.
Omdat je toch nog redelijk wat moet aanpassen is het wel erg fourtgevoelig.
Krijg er steeds minder zin is.
Discussie over de FTE deeltijd verdeling over verschillende programma's. Is de verantwoordelijkheid van de managers onderzoek, je kunt dat nl op allerlei manieren verwerken.
Ook de 'outcomes' cijfers lkosten aanpassingen. Wanneer is een boekhoofdstuk wetenschappelijk? Is niet te achterhalen. De proefschriften in Metis zijn niet helemaal betrouwbaar. Alle niet-Engelstalige worden geclasseerd als vakpublikaties, dus niet-wetenschappelijk.
In de 'full outcome list' kan nog niet alles in SEP-format worden uitgevoerd, ook de terminologie tussen Metis en SEP is niet conform. Ria heeft alles handmatig geteld!
Er ligt een vraag naar discipline-protocollen i.p.v. naar instituuts-protocollen.
Alle bibliografische gegevens en de full text van key publications staan op CD ROM.
Het heeft wel veel moeite gekost, maar door opschoning is Metis wel transparanter geworden voor UMC.

Kengetallen SEP/METIS

Leuk citaat op de openingspagina van de VSNU, Vereniging van Universiteiten van Aldous Huxley: 'Facts do not cease to exist because they are ignored.'
Lijkt me wel toepasselijk.
Kengetallen kun je krijgen door tijdschrijven en door normering, maar dat werd meteen van tafel geveegd. Enige wat overbleef is aansluiten bij de huidige praktijk.
Was ook meteen de opmerking van de deelnemers over het SEP verhaal: het gaat veranderen, maar blijft toch hetzelfde, er komt geen landelijke vergelijking, maar we vergelijken wel. Wat is het nu wel???

SEP = (Metis) = KUOZ = WOPI
[de isjes zijn een wens van Rene Hageman)

SEP= Standaard evaluatie protocol
Metis =Onderzoeksinformatie systeem
KUOZ = Kengetallen Universiteiten Onderzoek
WOPI = Wetenschappelijk Onderzoeks Personeel Informatie

Het oude boekje met definitie-afspraken is nog steeds geldig 'Definitie-afspraken Wetenschappelijk Onderzoek. VSNU 1994'
Het proces is nu zo, dat er een themagroep komt, dan een IR werkgroep en een bestuurlijke IR werkgroep en dan naar de stuurgroep AB. BLEEEH!
Ik heb van mezelf wel een tamelijk ambtelijke instelling, maar van zoveel bureaucratie krijg ik toch wel de kriebels.

WOPI is uitgangspunt voor personeel, alleen personeel opnemen die een arbeidscontract hebben. Niet onbezoldigd met salaris of zonder salaris maar wel met aanstelling, en heel kleine aanstelling als escape. Maar voorstel is 'wp in dienst' is t enige dat telt.
Toch zijn daar weer uitzonderingen op bijv. promovendi tellen wel mee (niet in dienst, maar wel output).
Maar de universiteiten hebben hun eigen verantwoordelijkheid daarin. Zo wordt er van alles en nog wat gedaan om problemen te omzeilen (zoals tijdens visitatie onproduktieve medewerker tijdelijk parkeren bij een anderonderdeel).
Er zijn vier soorten promovendi: 'gewone' = werknemer-promovendi, bursalen=contractpromovendi, interne promovendi, buiten-promovendi. En dan hebben we het nog niet over sandwich-promovendi. [ik heb laatst nog een overzicht van het Nederlandse wetenschapssysteem gedownload, moet ik nodig eens gaan lezen, want het is haast niet te volgen].
Onderzoeker en promovendi zijn 'non-tenured'. HGL,UHD en UD zijn tenured (de docenten dus). Dat is de uitkomst van een discussie waar mensen vaak niet uitkomen, worden in internationaal vergelijkingen gevraagd. Het vroegere onderscheid 'vast' en 'tijdelijk' is daarmee losgelaten omwille van de internationale vergelijking.

Outputgegevens zorgen ook voor discussies. Wat is bijv, een 'refereed' publicatie, de definitie is dan als er gepubliceerd is in een tijdschrift met een impact factor (maar geldt dat dan ook voor een brief die in zo'n tijdschrift gepubliceerd wordt. Of gaat het alleen over een tijdshcrift met een 'anonymous peer review' . En hoe zit het met de categorieen en de subcategorieen, en de resp. definities daarvan.

Geldstromen discussie lijkt overzichtelijk: 1e = basis (altijd OC&W?), 2e = NWO/KNAW (ook EU in competitie verworven), 3e = privaat (maar ook publieke 3e geldstromen = collecte). Onderzoek onderscheiden naar intentie (2e geldstroom) of opdracht (3e geldstroom).

Hij eindigt met nog een aantal vragen, of we die in groepjes of thuis willen beantwoorden. Jakkes, wat is dat saai, moet ik me daar echt over buigen. Of zei hij neem contact met je IR, je institutional research officer, help zou ik zomaar kunnen zij voor NIOO.

Metis seminar

Een tweedaagse bijeenkomst georganiseerd door de Metis Gebruikersgroep i.s.m. KNAW. Ze hebben op Surfgroepen het programma en een wiki.
Gisteren 6 oktober was de eerste dag, alleen bestemd voor MG-leden.
Vandaag 7 oktober is de bijeenkomst bestemd voor facultair beheerders en gebruikers.
Straks beginnen we met een plenair deel in de theaterzaal van het stadskasteel Oudaen.
Een mooie monumentaal vergadercentrum en horecagelegenheid aan de OudeGracht in het centrum van Utrecht.

De Oude Gracht is ook de mooiste straat eigenlijk in het centrum. Erg sfeervol, met nu de herfstbomen op de werfkades lanfgs de grachten.
METIS is het systeem voor onderzoeksregistratie en informatie. Alle universiteiten in Nederland doen eraan mee. Wij willen hetin eerste instantie gebruiken als handvat voor de inrichting van onze repository: overzicht van alle publikaties die doormedewerkers van ons instituut zijn geschreven. Maar het is een wat lastig programma. Daarnaast moet er managementinformatie uitkomen, dus aantallen publikaties e.d.
We beginnen met een plenaire lezing over bibliometrie door Thed van leeuwen van de CWTS.
CWTS is een onderdeel van de Universiteit Leiden, en ze doen daar onderzoek naar allerlei bibliometrische indicatoren.

Voortgang Metis

De implementatie van Metis binnen de KNAW schrijdt voort. Al twee instituten hebben METIS in gebruik genomen met name voor outputregistratie. De KNAW werkt met zogenoemde factsheets, waarin de kerninformatie van een instituut moet worden uitgedrukt: dus hoeveel medewerkers, projecten, publicaties, lezingen etc. Omdat de meeste universiteiten in Nederland nu Metis gebruiken voor die outputregistratie is het de bedoelingen dat wij ook de factsheets inwisselen voor METIS.
De instituten die al ‘om’ zijn hadden zelf veel belang bij een snelle overgang naar Metis, omdat zij wel voordien zien in het systeem. Met name de Personal Metis, waarmee de onderzoeker zelf al zijn activiteiten kan registreren zal uiteindelijk een voordeel beteken boven een systeem waarbij diezelfde onderzoeker een maal per jaar zijn activiteiten van het afgelopen jaar moet zien te achterhalen.
Uit de verhalen bleek dat nog niet alles even vlekkeloos is verlopen: systeem had nog erg te lijden onder bugs (tja, de norm is tegenwoordig helaas dat een oplevering hetzelfde betekent als het uitzetten van een betaversie) en dat nog niet alle output zoals gevraagd in het factsheet in Metis kan worden opgenomen.
Op sommige punten lijkt het wel een beetje een star systeem, bijv. als je als output een softwareprogramma hebt gemaakt, kun je dat niet goed kwijt, als ‘resultaattypes’ in Metis zijn alleen de ‘ouderwetse’ publicatievormen zoals monografie en artikel. En zelf aanpassen is er niet bij. Ik kreeg er een beetje een GGC-smaak van (jaren 70 systeem opgepoetst voor gebruik in het nieuwe millennium).
Maar overall zijn ze toch wel tevreden, omdat ze nu in ieder geval een registratiesysteem hebben en het gros er wel uitkomt. Ook zijn ze bezig met het maken van stylesheets, zodat een uitvoer in XML keurig op een webpagina kan worden ingelezen.
Onze eigen insteek is dat we een repository willen gekoppeld aan METIS en daarvoor zijn we nu nog aan het testen met conversiemethodieken.
Al met al is de boventoon toch positief en komen we steeds een stapje verder.

Metis en Eprints

Metis en Eprints

Weer een stapje verder op weg naar de implementatie van Metis,
Bij ons willen we Metis op 2 manieren gebruiken: verplicht voor de administratieve rapportage: outputstatistieken, die je eruit kan krijgen, en gewild om het samen met Eprints als repository te gebruiken.
Dat is natuurlijk een beetje hinken op twee gedachten, maar het is ook van de nood (=plicht) een deugd maken.
De eerste test: omzetten van onze registratie in Endnote in Metis is geslaagd (inlezen via RIS-formaat) en we hebben ook al de kale versie gezien van de Eprints software.
Je kunt daar ook rechtstreeks een publicatie uploaden en van metadata voorzien. Maar onze bedoeling is om dat via Metis te koppelen. Dan slaan we twee vliegen in een klap.
Verder met testen, want het lastigst lijkt nog het juist opnemen van de auteursnaam en dat gekoppeld aan de juiste afdeling.

METIS

Metis is het onderzoeksregistratiesysteem van de universiteiten. Het is ontwikkeld door het Universitair Centrum voor Informatievoorziening van de Radboud Universiteit in Nijmegen en wordt door alle universiteiten gebruikt. Metis is een Oracle databasesysteem dat functioneert samen met Macromedia Coldfusion. En is via Internet te gebruiken. Zie ook de Metis guide (handleiding) en een algemene presentatie.
Er is nu ook een Personal Metis ontwikkeld, om de onderzoeker zelf in staat te stellen zijn onderzoeken in te voeren. Die is een stuk gebruikersvriendelijker dan de ‘normale’ data entry module. De bedoeling is dat alle onderzoeksprojecten van de betreffende universiteit/instituut worden ingevoerd (metadata) indien mogelijk met een link naar een repository of een link naar de full text bij een uitgever.
Vooralsnog gaat het uit van registreren. Je kunt er publicatielijsten uit krijgen en het management kan ook cijfers eruit krijgen met betrekking tot aantallen fte’s, publicaties etc.
In een presentatie over METIS wordt nadrukkelijk gezegd dat het geen ranking weergeeft van universiteiten. Maar de managementgegevens (aantal promoties, aantal publicaties, aantal publicaties in tijdschriften met hoge impactfactor) geven uiteraard wel een indicatie.
Zover ik het nu kan overzien heeft iedereen zijn eigen systeem en is het (nog)niet met een interface doorzoekbaar. De KNAW heeft de METIS toegangen op een rijtje gezet.
Ook de KNAW zelf gaat er gebruik van maken, en wij als KNAW-instituut dus ook. Gisteren was er een bijeenkomst van de contactpersonen van Metis van de KNAW-instituten. Bij ons op NIOO in Nieuwersluis. Het lastigst met het organiseren van zo’n bijeenkomst is dat je moet afspreken wie hoe laat op het station (Breukelen) is en opgehaald moet worden. Maar daar is gelukkig altijd wel een mouw aan te passen.
Het was een wat mij betreft verhelderende bijeenkomst.
Metis wordt gebruikt voor management van onderzoeken per universiteit ev. met link naar repository. In de repository van een universiteit wordt de full text van een publicatie opgeslagen. DARE zorgt voor een schil waarmee het mogelijk is om alle repositories in een keer te doorzoeken.