4 feb 2011

Onderzoeksdataforum: kwaliteit van onderzoeksdata

Rapport in het kader van een SurfShare programma: Kwaliteit van Onderzoeksdata.
Eerst een algemene inleiding over het SurfShare programma 'Toegang tot onderzoeksdata".

Plaatje van de SurfShare activiteiten op de site gevonden (ook al ben je lid van het Forum, daarom krijg je nog niet zomaar alle informatie)
*
Maar vandaag gaat het over Kwaliteit van Onderzoeksdata.
Waaijers geeft een inleiding over de methode: literatuurstudie (jonge literatuur, het leeft nu inderdaad pas), methode (interviews en enquete) en aanbevelingen en conclusies.
Achter het rapport is een bloemlezing van de literatuur met citering van de belangrijkse passage – leuk gedaan.
Hij noemt baanbrakend het rapport ‘Riding the wave: How Europe can gain from the rising tide of scientific data - Final report of the High Level Expert Group on Scientific Data - October 2010’ als een breekpunt. Daarin wordt aangegeven dat beloning/erkenning de beste incentive is voor onderzoekers om data te publiceren.

Je leest in het Kwaliteitsrapport dat kwaliteitsbeoordeling van onderzoeksdata vrnl gaat over de kwaliteit van metadata en documentatie. Het beoordelen op ‘scholarly merits’ van onderzoeksdata is niet mogelijk en niet doenlijk
Onderscheid naar databronnen, datatypen en disciplines. Daarnaast hebben ze kwaliteitsfactoren gedefinieerd naar productiefase, datamanagement, (her)gebruik.
In een enquête is aan onderzoekers gevraagd wat er voor nodig zou zijn om onderzoeksdata op kwaliteit te beoordelen. Respons van 14 % (+ 14& expliciete non-respons) dus 28 % betrokkenheid.
Uiteindelijk blijft er een lijst over met aanbeveling die door de meerderheid van de geënquêteerden geschikt of ongeschikt zijn bevonden. Prestige bevorderende maatregelen worden verwelkomd (citeren van data) en verplichtingen (opstellen datamanagement plan) als negatief genoemd.
*
Referenten geven commentaar:
- Gerben de Boer TU Delft/Deltares heeft alleen opmerking n.a.v. de negatieve waardering over data-audits. Hij vind het juist erg zinvol: externe controle van je onderzoeksdata kan heel waardevol zijn. Bij software is het heel gebruikelijk om audits uit te voeren (Nature rapport) data=ruwe data+software
- Taco de Bruijn NIOZ datamanager was beetje verbaasd en geschrokken. De belangrijke rol van onderzoeksfinanciers is wat hem betreft wat onderbelicht. NWO vraagt juist om die erkenning en ook de verplichting tot datamanagementplannen. Data mangement policy is belangrijk: in vroeg stadium moet er al aandacht voor data zijn en dat blijven gedurende de loop van het onderzoek. Ook vooraf nakijken wat er al aanwezig is.Omdat de wetenschappelijke waarde niet makkelijk te beoordelen is, moet je niet meten ook maar denken dat je dat niet moet hergebruiken. Mogelijke hergebruik is niet altijd vooraf aan te geven, mooi voorbeeld over VOC-gegevens, die 400 jaar na dato gebruikt kunnen worden voor klimaat gegevens.
Hij is geschrokken van de lage respons: houding van gevestigde onderzoekers t.o.v. jonge.
- Marcel Das CenterData: Instituut voor dataverzameling en onderzoek. Draagt bijv. de populaire optie ‘publiceren in tijdschriften voor datapublicaties’ bij tot vindbaarheid? Wie krijgt de credits, de onderzoeksgroep of alleen de deponeerder. Replicatiedataset als echte replicatie is inefficiënt. Ook ziet hij niet in waarom je onderzoekers een verplichting als datamanagement plan zou opleggen. Beetje verwarrend verhaal. Maar hij gaat verder met heldere kritiek: lage respons daardoor kun je eignelijk geen belangrijke conclusies trekken.
- Harmen Sijper van Erasmus medisch Centrum over patiëntgebonden onderzoek en tools en ICT maatregelen die dwingen om over data na te denken. In het kader van medisch etische toetsing moet je 15 jaar patiëntgebonden onderzoeksgegevens bewaren. Dus data is er. Maar er zijn weinig grote datasets beschikbaar, omdat het moeilijk en kostbaar is om grote onderzoeken te doen, dus ieder wil de data voor zich houden. Er zou een verplichting moeten komen om dataset na publiceren alsnog te anonimiseren en beschikbaar te stellen. Wettelijk verplichting of via rol van financiers als NWO, of kwaliteitsdatasets t.b.v. zorgverzekeraars. Educatie over data management en ict implementatie, tools die dwingend zijn. Bewustwording door onderzoekscoördinatoren, vooraf kijken wat voor data er al is, bvk met mooie visualisatietools. En belonen van mensen die goede datasets leveren.
*
Afsluitend een paneldiscussie waarbij over een aanbeveling kan worden gediscussieerd en door de zaal met stemkastjes mee
Wat heeft de hoogste prioriteit: citeren van data, commentaren kwaliteit en datapublicaties.Wat bevordert de beschikbaarstelling van datasets het meest (Open Acces, Gedragscode, DMP). En wat bevordert kwaliteit vna onderzoeksdata (data-audit, training, replicatiedata).
Was een beetje een onwerkelijke discussie, sommige onderscheiden of initiatieven bestaan al. Duidelijk was dat een aantal deelnemers niet goed duidelijk had waar het over ging. Ook de opstelling en formulering van de discussiepunten wekt bevreemding.