29 feb 2016

Seminar Maatschappelijke impact van onderzoek inzichtelijk maken

 Seminar Maatschappelijke impact van onderzoek inzichtelijk maken

De aftrap werd gegeven door Lieke van Fastenhout met een historisch overzicht over het ontstaan van het SEP. SEP stamt uit 1993 en is nu in de 4e editie. Er zat altijd al een component ‘valorisatie’in, maar gaandeweg is dat ‘societal relevance’geworden.
Via diverse overlegorganen is ‘societal relevance’ nader onderzocht, zoals ERiC (EvaluatingResearch in Context) en SIAMPI (Social Impact Assessment Methods for research and funding instruments through the study of Productive Interactions between science and society.)
Er zijn adviesrapporten verschenen van KNAW en Rathenau, en ook OCW heeft zich in het ‘hoofdlijnenakkoord’ hierover uitgesproken. (zie ook wetenschapsvisie).
Daar is een raamwerk uitgekomen, waarbij de outputindicatoren door de universiteiten en onderzoeksinstellingen zelf gekozen kunnen worden. In dit raamwerk staat de ‘narrative’ centraal, maar die wordt ondersteund door ‘evidence’.
# In UK is overzicht van ‘effective narratives’ #

Fabian Pruisen van Zonmw sprak zeer kort en bondig over de criteria waarop subsidie wordt toegekend. Dat is n.a.v. relevantie van project dat wordt aangevraagd en niet zozeer vanwege de geconstateerde ‘societal relevance’ van het instituut. Antwoord op de vraag wat het nu eigenlijk betekent als je goed scoort op ‘societal relevance’. Niets dus!

Enige praktijkvoorbeelden volgen.
Theo Jetten van de WUR over, wat hij noemt ‘Knowledge Transfer’. Het doel is vooruitkijken op basis van verleden. Op een drietal onderwerpen moeten worden gerapporteerd:
Producten. Gebruik. Erkenning en dat zowel wetenschappelijk en maatschappelijk.
In 2015 zijn een aantal groepen op deze manier geëvalueerd en zowel de uitkomsten als de ervaringen waren zeer divers. Over het algemeen bleek het een worsteling met de vraag hoe ermee om te gaan,  zowel wat betreft omvang als wat betreft relevantie.

Ook Gepke Uiterdijk van het AMC verhaalt van de worsteling met indicatoren voor societal relevance. Uiteindelijk hebben ze het sterk vereenvoudigd, zodat er uiteindelijk nog 7 indicatoren overbleven (Clinical guidelines, policy reports, books, internet patient community, societal grants/rewards, patents, use in diagnostics). Er was overigens een goede deelname, waarvoor ze wel erg hun best gedaan hebben o.m. door uitreiking van de  “AMC societal impact award”.
# over de wetenschapsagenda: Veel vragen over reeds bekende onderwerpen, dus er schort nog wat aan informatie aan bredere publiek.#

Ingeborg Meijer (nu CWTS) vertelde over een onderzoek in Lumc in 2008. Hieruit bleek een soort controversie tussen relevantie versus kwaliteit. Uiteindelijk was de conclusie: Kwaliteit =relevantie +interactie. En er werd geconcludeerd dat er géén relatie is tussen wetenschappelijke kwaliteit en maatschappelijke kwaliteit.

Ad Prins ziet ‘societal relevance’ als productieve interactie, te meten via contextuele response analyse .
De gebruikelijke systemen (zoals Pure) zijn niet geschikt, want zij zijn nog een afgeleide van wetenschappelijk onderzoek. Het bestaat uit een woekering van categorieën die precisie suggereren die niet bestaat.
Zijn betoog:
1. Relevantie kun je zichtbaar maken
2. Maatschappelijke relevantie van onderzoek ligt soms al besloten in wetenschappelijke output
3. Andere categorisering output nodig: – Sociale & Geesteswetenschappen (SSH) – “Toegepaste” wetenschappen
4. Dilemma: meer categoriën = meer last
5. Denkrichting voor aanpak: tools & simplicity

Armand Guicherit (als vertegenwoordiger van de NL Pure User Group)  over de Impact Module in Pure. Die is 9nog) niet in gebruik.  Het uitgangspunt daarbij zijn de ‘narratives’, die hoeven / moeten niet te gedetailleerd te zijn. Armand heeft als test REFnarratives uit UK geprobeerd opnieuw in te voeren in de Pure impact module.
Conclusie: Registratie in Pure kan maar:
– Lijkt in hoofdzaak afgestemd op UK REF model
– Impact kan gerelateerd worden aan andere Pure entiteiten; maar duiding is wellicht problematisch
– Niet gekeken naar requirements HORIZON 2020
– Rapportage/export mogelijkheden lijken onderontwikkeld

Bianca Kramer over hun onderzoek naar  innovatie in wetenschappelijke communicatie   en over altmetrics .  In april volgen de resultaten van de enquête naar welke tools er nu ook echt gebruikt worden. Eén van haar stellingen:  Assessment niet alleen na publicatie, maar ook tijdens.

Het Panel van sprekers zal met de zaal discussiëren over stellingen:
1) Stelling:  Maatschappelijke impact van onderzoek inzichtelijk maken is de verantwoordelijkheid onderzoekers.
- Het hoort in de opleiding, ook instelling heeft een taak hier in. Niet alleen zenden niet alle onderzoek kan meteen maatschappelijk relevant zichtbaar worden gemaakt. Ook financier vraagt erom al meteen bij aanvraag . Coördinatiepunt inrichten:) . Is Pure de best oplossing?
2) Stelling: In hoeverre is een vrije narrative de best oplossing, format per discipline?
- Er moet vrijheid van invulling blijven, maar met richtlijnen. Afhankelijk van de doelstelling van de evaluatie moet er bewijs aan ten grondslag liggen. (stelling 3 is niet behandeld wegens tijdgebrek)
4) Wie bepaalt welke indicatoren gebruikt worden.
- In principe wordt dat door de Universiteit (=sbestur-)en bepaald, maar ook beleidsmakers hebben daarin een woordje te zeggen.

Er lijkt een duidelijke behoefte te bestaan aan bruggen tussen onderzoeker en beleid.  De worsteling met indicatoren lijkt alom tegenwoordig en er klinkt een roep om vereenvoudiging. Wordt vervolgd!