Slik ble forskerne i SSB målt og funnet for lett

Den siste tiden har det vært stor debatt om omorganisering av Statistisk sentralbyrå (SSB). Ledelsen ønsker å flytte 25 ansatte fra forskningsavdelingen til statistikkavdelingene. Blant dem som skal omplasseres er Erling Holmøy, som i en årrekke har forsket på de økonomiske konsekvensene av innvandring til Norge.

Holmøy er blant annet forskeren bak det omstridte «innvandringsregnskapet» som kom for noen år siden. Kritikere mener flyttingen av Holmøy er et forsøk på å hindre at forskningsresultater som viser negative konsekvenser av innvandring kommer ut.

SBB-direktør Christine Meyer har måttet tåle sterk kritikk både fra fagpersoner, politikere og store organisasjoner som LO og NHO. Samtidig som mange kritiserer Meyer, får hun også støtte fra flere hold. Blant dem er professor i økonomi ved Universitetet i Bergen, Hans K. Hvide. Han karakteriserer i Dagens Næringsliv (for abonnenter) forskningsavdelingen i SSB som «stor og uproduktiv»:

– Lav produksjon og kvalitet

Hvide mener at forskningsavdelingen ikke holder mål vurdert mot vanlige kriterier for evaluering av forskning. I Dagens Næringsliv poengterer han at det som sikrer faglig kvalitet, er publisering i internasjonalt anerkjente tidsskrifter. Her scorer SSB ifølge økonomiprofessoren lavt både når det gjelder produksjon og kvalitet. Han oppsummerer:

Ett av kravene for å få fortsette i forskningsavdelingen, er at man har publisert artikler på nivå 2. Det omfatter publisering i de 20 prosent høyest rangerte publikasjonene innen hvert fagfelt. Erling Holmøy er blant forskerne i SSB som ikke har publisert på nivå 2 de siste årene, ifølge NTB.

Faktisk.no har gjort et forsøk på å faktasjekke Hvides påstand om at det er veldig lav produktivitet i forskningsavdelingen i SSB. Siden det har vist seg vanskelig å komme fram til en konklusjon, vil vi i denne artikkelen gå gjennom de ulike sammenligningene som finnes av produktiviteten i norske samfunnsøkonomiske forskningsmiljøer.

Evaluert av utvalg

Hvide opplyser til Faktisk.no at han baserer sin påstand på en evaluering som nettopp har blitt gjort av forskningsavdelingen i SSB. I en e-post skriver økonomiprofessoren:

Rapporten som Hvide viser til var ferdig i januar. Utvalget hadde som mandat å utrede en framtidig forskningsstrategi for SSB, og går blant annet gjennom virksomheten i dagens forskningsavdeling. De konkluderer med at:

Fagfellevurdering er ifølge Store norske leksikon «kvalitetssikring av forskningsbidrag (fagartikler, bøker) ved at eksperter innenfor faget kritisk vurderer bidraget før publikasjon». Slike vurderinger gis gjerne anonymt, og er en forutsetning for å få publisert artikler i internasjonalt anerkjente tidsskrifter.

– Moderat produksjon

Utvalget har gått gjennom artiklene som har blitt publisert i internasjonale tidsskrifter av ansatte i forskningsavdelingen i SSB fra januar 2011 til sommeren 2016. Hver artikkel har blitt klassifisert etter hvor høy kvalitet tidsskriftene har i en internasjonal rangering av samfunnsøkonomisk forskning. Gjennomgangen viser at:

• Ansatte i forskningsavdelingen har publisert til sammen 167 artikler på fem og et halvt år.
• 20 av artiklene er publisert i de 20 høyest rangerte tidsskriftene for samfunnsøkonomisk forskning.
• 71 artikler er publisert i topp 100.
• 51 artikler er publisert i topp 250.
• I tillegg ble det publisert 25 artikler i tidsskrifter som ikke er med i den aktuelle rangeringen.

I rapporten skriver utvalget:

Internasjonal kvalitetssikring

Utvalget har også sett på hvordan publiseringen fordeler seg på hver ansatt i forskningsavdelingen. I løpet av tre og et halvt år (2012–sommeren 2016) publiserte 6 av 63 forskere i et topp 20-tidsskrift. 17 publiserte i topp 100, mens 6 hadde gode publiseringer i andre fagfelt enn samfunnsøkonomi.

Utvalget oppsummerer med at rundt 25 ansatte publiserte i topp 100 i løpet av treårsperioden. 14 av forskerne hadde ikke registrert noen publiseringer i denne perioden.

I rapporten gjengis også en evaluering Norges Forskningsråd gjorde av samfunnsøkonomiske forskningsmiljøer i 2007. De gjorde også en kvantitativ analyse av publiseringsaktiviteten i de ulike miljøene. Ser man på antall publiseringer per forsker i perioden 2001–05 får man denne oversikten:

Forskningsrådet så også på andelen publiseringer på nivå 2:

Ifølge rapporten viser dette at:

Utvalget understreker at siden evalueringen er såpass gammel, er det grunn til å anta at noen av utfordringene som Forskningsrådet peker på allerede har blitt adressert av SSB.

– Ikke veldig lav produktivitet

Faktisk.no har forsøkt å finne nyere sammenligninger av publisering ved de ulike forskningsinstitusjonene. Forskningsrådet opplyser at SSB var med i en evaluering de gjorde av sosiologiforskningen i 2010, men at de ikke har gjort noen evaluering av samfunnsøkonomisk forskning siden den som ble gjort i 2007.

Faktisk.no har også spurt NIFU (Nordisk institutt for studier av innovasjon, forskning og utdanning) om de har tall som kan si noe om produktiviteten i forskningsavdelingen i SSB sammenlignet med andre forskningsmiljøer. Forsker i NIFU, Dag W. Aksnes, forklarer at de fleste institusjonene i Norge benytter seg av Cristin-databasen for registrering av publisering, men det gjør ikke SSB.

For å belyse spørsmålet har Aksnes derfor sett på volumet av publisering i internasjonale vitenskapelige tidsskrifter indeksert i Web of Science-databasen. Han har sammenlignet SSBs forskningsavdeling med Økonomisk institutt ved Universitetet i Oslo (UiO). De to enhetene er ifølge Aksnes relativt like i størrelse hvis man ser på årsverk.

Sammenligningen viser at i 2015 og 2016 publiserte SSBs forskere 41 artikler, mens forskerne ved UiO publiserte 77 artikler. I en e-post til Faktisk.no skriver Aksnes at SSB hadde et klart lavere publiseringstall enn UiO, men at de to institusjonene har forskjellige samfunnsoppdrag:

SSB på 7. plass

Utvalget som har evaluert forskningsavdelingen i SSB, brukte også REPEC for å sammenligne byråets forskning med andre institusjoners. REPEC er en anerkjent internasjonal rangering av institusjoner og forskere innen økonomi som brukes over hele verden. Forskerne må selv registrere seg i systemet, noe som kan gjøre det vanskelig å få til en nøyaktig sammenligning mellom institusjonene. Det kan også ta lang tid før publiseringer blir registrert.

Ser man på rangeringen av samfunnsøkonomiske institusjoner i Norge får man denne listen:

1. Økonomisk institutt, Universitet i Oslo.
2. Norges Handelshøyskole (NHH).
3. Institutt for samfunnsøkonomi, Norges Handelshøyskole (NHH).
4. BI Handelshøyskolen.
5. Stiftelsen Frischsenteret for samfunnsøkonomisk forskning, Universitetet i Oslo.
6. Institutt for økonomi, Universitetet i Bergen.
7. Statistisk sentralbyrå.
8. Institutt for foretaksøkonomi, Norges Handelshøyskole (NHH).
9. Institutt for samfunnsøkonomi, Norges teknisk-naturvitenskapelige universitet (NTNU).
10. Norges Bank.

I rapporten skriver utvalget:

REPEC rangerer også enkeltforskere etter en rekke kriterier. Blant de 100 forskerne som var høyest rangert da rapporten ble laget, jobbet fem i SSB. De fleste forskerne på listen var ansatt ved universiteter og høyskoler, og ikke ved institutter for anvendt forskning.

– Forskning skjer i fellesskap

Leder i Forskerforbundet, Petter Aaslestad, mener at det er mange faktorer som bør spille inn når man skal måle produktivitet blant forskere:

Et sterkt fokus på produktivitet kan ifølge Aaslestad gjøre det vanskelig å sette i gang prosjekter hvor forskere risikerer å ikke komme i mål:

Aaslestad mener det kan være fruktbart å sammenligne institusjoner, men understreker at man da må ta hensyn til at de kan ha ulike samfunnsoppdrag. Rangering basert på publikasjonspoeng bør skje på institusjonsnivå og ikke på individnivå, mener Aaslestad.

Publiserer mindre enn svenskene

SSB er et av svært få statlige statistikkbyråer i verden som har en egen forskningsavdeling. Svenske Statistiska centralbyrån har ikke en egen forskningsavdeling, men Institutet för arbetsmarknadspolitisk och utbildningspolitisk utvärdering (IFAU) har et særlig forsknings- og utredningsmandat fra myndighetene.

IFAU forsker særlig på arbeidsmarkedsøkonomi, og utvalget har sammenlignet SSBs forskningsavdeling med IFAU. Konklusjonen er at en langt høyere andel av de ansatte i IFAU publiserer regelmessig internasjonalt enn det de SSB-ansatte gjør. IFAU har også en høyere andel med topp 20-publiseringer blant de forskerne som publiserer regelmessig.

Utvalget har også sammenlignet forskningsavdelingen i SSB med tilsvarende avdeling i Norges Bank. Forskerne der kan ifølge rapporten bruke 50 prosent av tiden sin til fri forskning, mens 50 prosent skal brukes til forskningsbasert rådgivning for Norges Bank. De har eksplisitte krav på seg til årlig produksjon:

Store forskjeller mellom ansatte

Ifølge utvalget oppfyller ikke forskningsavdelingen hovedmålsettingene som er satt:

Det siste er noe av bakgrunnen for den foreslåtte omorganiseringen av SSB, og for Hans K. Hvides påstand om at forskningsavdelingen har veldig lav produktivitet.

Forskningsdirektør i SSB, Kjetil Telle, understreker overfor Dagens Næringsliv at all forskningen de gjør skal være relevant for det norske samfunnet, uavhengig av publiseringskanal:

Problematisk rangering

Rapporten fra utvalget som evaluerte forskningsavdelingen, inneholder en sammenligning av SSB-forskernes publiseringer sammenlignet med ansatte i andre samfunnsøkonomiske forskningsmiljøer. Problemet er at gjennomgangen til Forskningsrådet tar for seg årene 2001–05, noe som innebærer at sammenligningen kan være utdatert.

Rangeringen som gjøres i REPEC er langt ferskere, men systemet har én stor feilkilde: Forskerne må selv registrere sin publiserte forskning. Ifølge utvalget hadde under halvparten av forskerne i SSB registrert seg i REPEC da rapporten ble laget. Til tross for det kommer SSB på 7. plass blant norske institusjoner, foran for eksempel Institutt for samfunnsøkonomi ved NTNU og Norges Bank.

En tredje problemstilling som gjør det vanskelig å vurdere SSB-forskernes produktivitet, er at de har et annet samfunnsoppdrag enn mange av de andre institusjonene. Forskningsavdelingen i SSB skal for eksempel levere analyser til myndigheter og organisasjoner, noe som gir mindre tid til å utføre forskning som kan publiseres i de mest anerkjente internasjonale tidsskriftene.