Slik ble forskerne i SSB målt og funnet for lett

Den siste tiden har det vært stor debatt om omorganisering av Statistisk sentralbyrå (SSB). Ledelsen ønsker å flytte 25 ansatte fra forskningsavdelingen til statistikkavdelingene. Blant dem som skal omplasseres er Erling Holmøy, som i en årrekke har forsket på de økonomiske konsekvensene av innvandring til Norge.

Holmøy er blant annet forskeren bak det omstridte «innvandringsregnskapet» som kom for noen år siden. Kritikere mener flyttingen av Holmøy er et forsøk på å hindre at forskningsresultater som viser negative konsekvenser av innvandring kommer ut.

SBB-direktør Christine Meyer har måttet tåle sterk kritikk både fra fagpersoner, politikere og store organisasjoner som LO og NHO. Samtidig som mange kritiserer Meyer, får hun også støtte fra flere hold. Blant dem er professor i økonomi ved Universitetet i Bergen, Hans K. Hvide. Han karakteriserer i Dagens Næringsliv (for abonnenter) forskningsavdelingen i SSB som «stor og uproduktiv»:

Det som har skjedd er jo at SSB er blitt et orakel. Da er det også utrolig viktig at de holder høy standard, og ikke presenterer hjemmesnekrede ting de måtte mene og føle.

– Lav produksjon og kvalitet

Hvide mener at forskningsavdelingen ikke holder mål vurdert mot vanlige kriterier for evaluering av forskning. I Dagens Næringsliv poengterer han at det som sikrer faglig kvalitet, er publisering i internasjonalt anerkjente tidsskrifter. Her scorer SSB ifølge økonomiprofessoren lavt både når det gjelder produksjon og kvalitet. Han oppsummerer:

Forskningsavdelingen i SSB har veldig lav produktivitet. Det skulle bare mangle at ikke skattebetalerne vil kutte her.

Ett av kravene for å få fortsette i forskningsavdelingen, er at man har publisert artikler på nivå 2. Det omfatter publisering i de 20 prosent høyest rangerte publikasjonene innen hvert fagfelt. Erling Holmøy er blant forskerne i SSB som ikke har publisert på nivå 2 de siste årene, ifølge NTB.

Faktisk.no har gjort et forsøk på å faktasjekke Hvides påstand om at det er veldig lav produktivitet i forskningsavdelingen i SSB. Siden det har vist seg vanskelig å komme fram til en konklusjon, vil vi i denne artikkelen gå gjennom de ulike sammenligningene som finnes av produktiviteten i norske samfunnsøkonomiske forskningsmiljøer.

Evaluert av utvalg

Hvide opplyser til Faktisk.no at han baserer sin påstand på en evaluering som nettopp har blitt gjort av forskningsavdelingen i SSB. I en e-post skriver økonomiprofessoren:

Her kommer det frem at de scorer lavt i produktivitet, målt ved publiseringer (samme type evalueringssystem som for universitetene). Det er dette jeg referer til når jeg sier «standard kriterier». SSB kan ha høy produktivitet på andre ting enn publikasjoner, selvsagt.

Rapporten som Hvide viser til var ferdig i januar. Utvalget hadde som mandat å utrede en framtidig forskningsstrategi for SSB, og går blant annet gjennom virksomheten i dagens forskningsavdeling. De konkluderer med at:

Hovedmålsettingen slik den er formulert i dag etterleves kun i begrenset grad. Dagens forskningsvirksomhet kan ikke sies gjennomgående å være på høyt internasjonalt nivå. Noen ansatte produserer arbeid av høy vitenskapelig kvalitet, mens et flertall arbeider med analyser som sjelden eller aldri utsettes for kritikk og kvalitetssikres gjennom fagfellevurdering i internasjonalt anerkjente tidsskrift.

Fagfellevurdering er ifølge Store norske leksikon «kvalitetssikring av forskningsbidrag (fagartikler, bøker) ved at eksperter innenfor faget kritisk vurderer bidraget før publikasjon». Slike vurderinger gis gjerne anonymt, og er en forutsetning for å få publisert artikler i internasjonalt anerkjente tidsskrifter.

– Moderat produksjon

Utvalget har gått gjennom artiklene som har blitt publisert i internasjonale tidsskrifter av ansatte i forskningsavdelingen i SSB fra januar 2011 til sommeren 2016. Hver artikkel har blitt klassifisert etter hvor høy kvalitet tidsskriftene har i en internasjonal rangering av samfunnsøkonomisk forskning. Gjennomgangen viser at:

• Ansatte i forskningsavdelingen har publisert til sammen 167 artikler på fem og et halvt år.
• 20 av artiklene er publisert i de 20 høyest rangerte tidsskriftene for samfunnsøkonomisk forskning.
• 71 artikler er publisert i topp 100.
• 51 artikler er publisert i topp 250.
• I tillegg ble det publisert 25 artikler i tidsskrifter som ikke er med i den aktuelle rangeringen.

I rapporten skriver utvalget:

Til sammen er dette et betydelig bidrag til internasjonal forskning, men en total på 167 artikler på fem og et halvt år er mer moderat hvis man ser på størrelsen på avdelingen (30/år). Ser man på bidraget over disse fem og et halvt årene utgjør topp 100 om lag 0,16 artikkel per ansatt (...).

Internasjonal kvalitetssikring

Utvalget har også sett på hvordan publiseringen fordeler seg på hver ansatt i forskningsavdelingen. I løpet av tre og et halvt år (2012–sommeren 2016) publiserte 6 av 63 forskere i et topp 20-tidsskrift. 17 publiserte i topp 100, mens 6 hadde gode publiseringer i andre fagfelt enn samfunnsøkonomi.

Utvalget oppsummerer med at rundt 25 ansatte publiserte i topp 100 i løpet av treårsperioden. 14 av forskerne hadde ikke registrert noen publiseringer i denne perioden.

I rapporten gjengis også en evaluering Norges Forskningsråd gjorde av samfunnsøkonomiske forskningsmiljøer i 2007. De gjorde også en kvantitativ analyse av publiseringsaktiviteten i de ulike miljøene. Ser man på antall publiseringer per forsker i perioden 2001–05 får man denne oversikten:

Forskningsrådet så også på andelen publiseringer på nivå 2:

Ifølge rapporten viser dette at:

SSB har en bredere og mindre spisset profil enn de andre instituttene. En betydelig del av aktiviteten kvalitetssikres ikke ved internasjonal publisering, og for noe av aktiviteten har dette kanskje heller ikke vært gjennomførbart. Samtidig publiseres det en del på høyt nivå.

Utvalget understreker at siden evalueringen er såpass gammel, er det grunn til å anta at noen av utfordringene som Forskningsrådet peker på allerede har blitt adressert av SSB.

– Ikke veldig lav produktivitet

Faktisk.no har forsøkt å finne nyere sammenligninger av publisering ved de ulike forskningsinstitusjonene. Forskningsrådet opplyser at SSB var med i en evaluering de gjorde av sosiologiforskningen i 2010, men at de ikke har gjort noen evaluering av samfunnsøkonomisk forskning siden den som ble gjort i 2007.

Faktisk.no har også spurt NIFU (Nordisk institutt for studier av innovasjon, forskning og utdanning) om de har tall som kan si noe om produktiviteten i forskningsavdelingen i SSB sammenlignet med andre forskningsmiljøer. Forsker i NIFU, Dag W. Aksnes, forklarer at de fleste institusjonene i Norge benytter seg av Cristin-databasen for registrering av publisering, men det gjør ikke SSB.

For å belyse spørsmålet har Aksnes derfor sett på volumet av publisering i internasjonale vitenskapelige tidsskrifter indeksert i Web of Science-databasen. Han har sammenlignet SSBs forskningsavdeling med Økonomisk institutt ved Universitetet i Oslo (UiO). De to enhetene er ifølge Aksnes relativt like i størrelse hvis man ser på årsverk.

Sammenligningen viser at i 2015 og 2016 publiserte SSBs forskere 41 artikler, mens forskerne ved UiO publiserte 77 artikler. I en e-post til Faktisk.no skriver Aksnes at SSB hadde et klart lavere publiseringstall enn UiO, men at de to institusjonene har forskjellige samfunnsoppdrag:

Derfor er det forventet at UiO vil ha høyere publiseringstall i internasjonale tidsskifter. Tallene viser at SSBs forskere jevnlig publiserer i internasjonale tidsskrifter. Det er derfor etter vår vurdering ikke grunnlag for påstanden om at forskningsavdelingen i SSB har veldig lav produktivitet.  

SSB på 7. plass

Utvalget som har evaluert forskningsavdelingen i SSB, brukte også REPEC for å sammenligne byråets forskning med andre institusjoners. REPEC er en anerkjent internasjonal rangering av institusjoner og forskere innen økonomi som brukes over hele verden. Forskerne må selv registrere seg i systemet, noe som kan gjøre det vanskelig å få til en nøyaktig sammenligning mellom institusjonene. Det kan også ta lang tid før publiseringer blir registrert.

Ser man på rangeringen av samfunnsøkonomiske institusjoner i Norge får man denne listen:

1. Økonomisk institutt, Universitet i Oslo.
2. Norges Handelshøyskole (NHH).
3. Institutt for samfunnsøkonomi, Norges Handelshøyskole (NHH).
4. BI Handelshøyskolen.
5. Stiftelsen Frischsenteret for samfunnsøkonomisk forskning, Universitetet i Oslo.
6. Institutt for økonomi, Universitetet i Bergen.
7. Statistisk sentralbyrå.
8. Institutt for foretaksøkonomi, Norges Handelshøyskole (NHH).
9. Institutt for samfunnsøkonomi, Norges teknisk-naturvitenskapelige universitet (NTNU).
10. Norges Bank.

I rapporten skriver utvalget:

Målt på denne måten ligger forskningen i SSB slett ikke dårlig an, men gitt mandatet om «av de fremste internasjonalt», kan vi minne om at UiO, som ligger først i Norge, ligger på 106. plass på den internasjonale listen.

REPEC rangerer også enkeltforskere etter en rekke kriterier. Blant de 100 forskerne som var høyest rangert da rapporten ble laget, jobbet fem i SSB. De fleste forskerne på listen var ansatt ved universiteter og høyskoler, og ikke ved institutter for anvendt forskning.

– Forskning skjer i fellesskap

Leder i Forskerforbundet, Petter Aaslestad, mener at det er mange faktorer som bør spille inn når man skal måle produktivitet blant forskere:

Forskning i moderne tid er noe som skjer i et fellesskap. Man kan bidra inn i et miljø på mange andre måter enn å få navnet sitt på en publikasjon. For eksempel kan man utløse kollegers potensial, noe som ikke nødvendigvis gir kvantitative utslag i form av publikasjonspoeng.

Et sterkt fokus på produktivitet kan ifølge Aaslestad gjøre det vanskelig å sette i gang prosjekter hvor forskere risikerer å ikke komme i mål:

Det bør være rom for å feile, det er også et resultat. Men et slikt resultat vil bli registrert som uproduktivitet.

Aaslestad mener det kan være fruktbart å sammenligne institusjoner, men understreker at man da må ta hensyn til at de kan ha ulike samfunnsoppdrag. Rangering basert på publikasjonspoeng bør skje på institusjonsnivå og ikke på individnivå, mener Aaslestad.

For å få publisere på nivå 2, må man knekt koden for hva som skal til for slik publisering. Forskning kan ha god kvalitet uten å bli publisert på nivå 2. Dessuten kan det hende at det finnes andre måter å holde seg faglig oppdatert på.

Publiserer mindre enn svenskene

SSB er et av svært få statlige statistikkbyråer i verden som har en egen forskningsavdeling. Svenske Statistiska centralbyrån har ikke en egen forskningsavdeling, men Institutet för arbetsmarknadspolitisk och utbildningspolitisk utvärdering (IFAU) har et særlig forsknings- og utredningsmandat fra myndighetene.

IFAU forsker særlig på arbeidsmarkedsøkonomi, og utvalget har sammenlignet SSBs forskningsavdeling med IFAU. Konklusjonen er at en langt høyere andel av de ansatte i IFAU publiserer regelmessig internasjonalt enn det de SSB-ansatte gjør. IFAU har også en høyere andel med topp 20-publiseringer blant de forskerne som publiserer regelmessig.

Utvalget har også sammenlignet forskningsavdelingen i SSB med tilsvarende avdeling i Norges Bank. Forskerne der kan ifølge rapporten bruke 50 prosent av tiden sin til fri forskning, mens 50 prosent skal brukes til forskningsbasert rådgivning for Norges Bank. De har eksplisitte krav på seg til årlig produksjon:

Publiseringskravet i Norges Bank er nærmere et nivå per år som tilsvarer snittet over 3,5 år i SSB sin forskningsvirksomhet, selv om de har betydelig «plikttjeneste» mot bankens øvrige virksomhet.

Store forskjeller mellom ansatte

Ifølge utvalget oppfyller ikke forskningsavdelingen hovedmålsettingene som er satt:

Dette skyldes i stor grad at en betydelig del av forskningsvirksomheten ikke kan sies å være på høyt internasjonalt nivå, langsiktig eller konsentrert om utvalgte områder. Av publiseringsoversikten framkommer at publisering i volum over år er betydelig, men målt i forhold til innsats per år er den svak.

Det er betydelig heterogenitet blant de ansatte. Noen publiserer svært bra, mens et flertall arbeider med analyser som sjelden eller aldri utsettes for kritikk og kvalitetssikres gjennom fagfellevurdering i internasjonalt anerkjente tidsskrift.

Det siste er noe av bakgrunnen for den foreslåtte omorganiseringen av SSB, og for Hans K. Hvides påstand om at forskningsavdelingen har veldig lav produktivitet.

Forskningsdirektør i SSB, Kjetil Telle, understreker overfor Dagens Næringsliv at all forskningen de gjør skal være relevant for det norske samfunnet, uavhengig av publiseringskanal:

I tillegg til våre egne internsikringsrutiner, må vi derfor bruke noe av vår tid på å kvalitetssikre analysene gjennom blant annet publisering i anerkjente internasjonale tidsskrift, for å henge med i kunnskapsutviklingen. Det har vi gjort, og det skal vi også gjøre fremover.

Problematisk rangering

Rapporten fra utvalget som evaluerte forskningsavdelingen, inneholder en sammenligning av SSB-forskernes publiseringer sammenlignet med ansatte i andre samfunnsøkonomiske forskningsmiljøer. Problemet er at gjennomgangen til Forskningsrådet tar for seg årene 2001–05, noe som innebærer at sammenligningen kan være utdatert.

Rangeringen som gjøres i REPEC er langt ferskere, men systemet har én stor feilkilde: Forskerne må selv registrere sin publiserte forskning. Ifølge utvalget hadde under halvparten av forskerne i SSB registrert seg i REPEC da rapporten ble laget. Til tross for det kommer SSB på 7. plass blant norske institusjoner, foran for eksempel Institutt for samfunnsøkonomi ved NTNU og Norges Bank.

En tredje problemstilling som gjør det vanskelig å vurdere SSB-forskernes produktivitet, er at de har et annet samfunnsoppdrag enn mange av de andre institusjonene. Forskningsavdelingen i SSB skal for eksempel levere analyser til myndigheter og organisasjoner, noe som gir mindre tid til å utføre forskning som kan publiseres i de mest anerkjente internasjonale tidsskriftene.