Slik fikk vi Jessheim til å bli farligere enn Kabul

Helgen 19.-21. oktober ble Oslo rammet av en rekke voldshendelser.

– Dette er en slags terror mot bymiljøet vårt, sa Aps Jan Bøhler til VG.

Voldshendelsene skapte flere reaksjoner, og 23. oktober publiserte nettstedet Rights.no en artikkel med tittelen «Oslo er en av Europas absolutt tryggeste hovedsteder, påstår Erna Solberg». Der skriver Rights at Oslo kommer på 57. plass på en rangering av verdens tryggeste hovedsteder. Abu Dhabi er på topp, fulgt av Doha og Singapore.

Rights viser også til en rangering av verdens tryggeste byer, der Oslo ifølge Rights ligger på 129. plass.

«Disse listene viser i alle fall at Oslo har litt å gå på når det gjelder trygghet», skriver nettstedet.

Artikkelen skapte mye engasjement i sosiale medier, og torsdag 24. oktober lå den på tredjeplass på Storyboards oversikt over de mest engasjerende artiklene i sosiale medier i Norge.

Men hva slags rangering er det egentlig Rights viser til? Det skal vi se nærmere på i denne artikkelen.

Islamabad tryggere enn Oslo

Listen Rights viser til er en rangering av verdens tryggeste hovedsteder som er publisert på nettstedet Worldscapitalcities.com, samt en rangering av verdens tryggeste byer på Ceoworld.com.

Når vi går inn på disse sidene, kan vi se at rangeringene er hentet fra det Beograd-baserte nettstedet Numbeo.com, som utformer noe de kaller en «kriminalitetsindeks». Ifølge Worldscapitalcities.com viser Numbeos kriminalitetsindeks hvor trygge innbyggerne i en by føler seg, og hvor mye kriminalitet de opplever.

Rights har vist til denne indeksen tidligere, i en artikkel med tittelen «Sverige topper kriminalitetsindeks».

På Numbeos egne nettsider finner vi to rangeringer av totalt 349 byer. Den ene heter «Crime Index (Current)» og oppdateres kontinuerlig. Den andre heter «Crime Index», og oppdateres to ganger i året.

Torsdag 24. oktober lå Pakistans hovedstad Islamabad på 61. plass på nåtidsindeksen, mens Oslo var på en 133. plass, betydelig lavere enn Islamabad.

Kan det virkelig stemme at Islamabad er tryggere enn Oslo? For å finne ut av det, må vi se nærmere på hvordan Numbeo lager rangeringen sin.

Hvem som helst kan endre

Det er mulig å se mer detaljerte opplysninger om byene Numbeo har rangert. For eksempel kan vi se at Oslos poengsum på sikkerhets- og kriminalitetsindeksene er basert på 261 brukerbidrag:

I tillegg ser det ut til at hvem som helst kan gå inn i spørreskjemaet om Oslo og fylle det ut:

Numbeo skriver selv at enhver person med internettilgang kan endre dataene på siden.

De skriver også at de ikke kan garantere at informasjonen som ligger på sidene deres er korrekt.

Det er med andre ord ingen garantier for at de 261 bidragene kommer fra personer som har vært i Oslo. Det er heller ingen garanti for at det er 261 personer som har svart. For eksempel kan én person levere inn forskjellige svar fra datamaskin, mobil og nettbrett.

Vi gjør Oslo farligere

For å undersøke nærmere hvor pålitelig Numbeos indeks er, har Faktisk.no sjekket hvor lett det er å manipulere Numbeos indeks ved å legge inn fiktive svar på spørreundersøkelsen.

Med bare noen få svar der vi oppga at vi var sterkt bekymret for å bli utsatt for ulike typer kriminalitet, fikk vi endret Oslos plass på listen over trygge og utrygge byer:

Her fikk vi flyttet Oslo fra en 133. plass til en 138. plass.

Numbeo beskriver metoden de bruker for å samle inn og sammenstille data her.

Jessheim - farligere enn Kabul

Ifølge Numbeos nettsider, skal det finnes et filter som luker ut forsøk på å levere inn større mengder avvikende data. For å teste hvor effektivt filteret er, har vi fylt ut Numbeos spørreskjema gjentatte ganger. Målet var å få Jessheim, en by der fire personer før oss hadde besvart skjemaet, til å fremstå som en svært farlig by.

For å unngå å bli fanget opp av Numbeos filter, valgte vi å levere inn informasjonen fra flere forskjellige enheter, steder og nettverk, samt ved hjelp av VPN-tjenester. Under kan du se hvordan tallene for Jessheim utviklet seg:

Beveg markøren mot venstre for å se forskjellen.

Vi la inn de fiktive dataene fredag 25. oktober. Siden det var få som hadde sendt inn svar for Jessheim, tok det mindre enn én dag å få Jessheim til å fremstå som en svært farlig by.

Jessheim dukket ikke opp på indeksen sammen med Oslo, men ved å gjøre et Google-søk på «crime jessheim», kunne man enkelt klikke seg inn på Numbeos Jessheim-side for å se tallene. Onsdag 30. oktober var Numbeos side om Jessheim det første Google-treffet for denne søkestrengen:

Her står det en advarsel om at Numbeo trenger flere bidrag for å heve datakvaliteten, sammen med en oppfordring om å bidra hvis man bor i Jessheim. Oppfordringen er også synlig øverst på siden man kommer til ved å klikke på lenken.

Da man kom inn på siden, kunne man sammenligne Jessheim med andre byer. Her kan du se en sammenligning vi gjorde av Jessheim og Kabul klokken 08:36 mandag 28/10. På dette tidspunktet hadde de fiktive dataene ligget der i litt under tre dager:

Her fremstår Jessheim som betydelig farligere enn Kabul. Advarselen om datakvalitet er dessuten borte.

Sammenligningen er åpenbart villedende. Utenriksdepartementet fraråder alle reiser til Afghanistan, og skriver følgende på sine hjemmesider:

Vi er ikke kjent med at noe utenriksdepartement har tilsvarende råd om Jessheim. Filtrene Numbeo bruker hindret oss altså ikke i å legge inn klart feilaktige data.

Dette er ikke første gang Numbeos indeks har blitt manipulert. I 2017 fikk svensken Linus Trulsson universitetsbyen Lund i Skåne til å havne på førsteplass på Numbeos kriminalitetsrangering.

SSB: – Kan åpenbart ikke brukes

Overfor Faktisk.no hevder Numbeo-sjef Mladen Adamovic at det ikke finnes offisiell statistikk som kan brukes til å sammenligne kriminalitet og trygghet i forskjellige byer rundt om i verden. Derfor vil Numbeo, ifølge Adamovic, bidra med å samle inn data gjennom nettbaserte spørreundersøkelser for å tilby informasjonen gratis.

Faktisk.no tar kontakt med Reid Jone Stene, som jobber med kriminalstatistikk i Statistisk sentralbyrå (SSB), for å spørre om vi kan stole på Numbeos rangering:

– Det er jo åpenbart ingen undersøkelse som kan brukes til å si noe om hvor trygg Oslo faktisk er for de personer og bedrifter som er og og bor i Oslo. Dette er heller ikke en undersøkelse som jeg ville ha brukt som kilde i noen av våre omtaler av folks følelse av utrygghet for å bli utsatt for lovbrudd, skriver Stene i en e-post.

Vi tar også kontakt med Torbjørn Skardhamar, som er professor ved Institutt for sosiologi og samfunnsgeografi ved Universitetet i Oslo. Skardhamar forsker på kriminalitet, og har blant annet vært med i en forskergruppe som blant annet studerte den geografiske fordelingen av kriminalitet.

På spørsmål om hva han tenker om Numbeos metode, svarer Skardhamar slik:

– Det ser ut til at Numbeo primært rangerer følelse av trygghet. Det er jo et ganske subjektivt mål og det er vanskelig å vurdere påliteligheten av en slik sammenligning. Hva slags kriminalitet de har i tankene når de svarer på dette spørsmålet er høyst uklart, og vil trolig variere betydelig.

Skardhamar fortsetter:

– Hvorvidt de som er inne på Numbeo sine sider er noe i nærheten av representative for sitt område, er også høyst uklart.

Den andre indeksen

Numbeo publiserer også en «historisk» indeks. Denne er det ikke mulig å endre ved å fylle ut spørreskjemaet. På denne rangeringen, som ifølge Numbeos nettsider skal gjelde for «medio 2019», er Oslo den 127. tryggeste av 349 byer, nok en gang bak Islamabad, som ligger på en 85. plass.

Faktisk.no har spurt Numbeo om hvordan de to indeksene henger sammen med hverandre. Ifølge Adamovic er den historiske indeksen et «øyeblikksbilde» av indeksen vi manipulerte. Han understreker at Numbeo sørger for at det ikke finnes bidrag som står i kø for å bli moderert når de overfører data til den historiske indeksen.

Siden våre fiktive bidrag ble lagret uten å bli moderert, tilsier dette at de vil bli med over til den historiske indeksen.

Er Oslo farligere enn andre byer?

Ifølge Numbeo-sjef Adamovic finnes det lite offentlig statistikk som sammenligner kriminalitet og trygghet i forskjellige land. Det stemmer.

Grunnen til at det er slik, er at det er vanskelig å sammenligne anmeldt eller registrert kriminalitet mellom land. Ifølge Eurostat er grunnen at det finnes en rekke forskjellige måter å registrere forbrytelser på, og lovverkene er gjerne forskjellige.

Stene i SSB viser til en artikkel fra det svenske Statistiska centralbyrån (SCB) der det finnes en sammenligning av innbyggernes opplevelse av kriminalitet i de nordiske landene, samt EU 27-landene (dagens EU-land, unntatt Kroatia). SCB brukte blant annet tall fra Eurostat for å se på andelen personer i de nordiske landene som hadde opplevd problemer med kriminalitet, vold eller vandalisering der de bodde.

Resultatet tilsier at Norge er blant landene i undersøkelsen der befolkningen i minst grad rapporterer om slike problemer:

Her ser vi at nordmenn i 2017 var minst tilbøyelige av alle i de nordiske landene til å si at de opplevde problemer med forskjellige typer kriminalitet i sitt nærmiljø. Dette gjelder for alle typer bosteder, fra grisgrendte strøk til storbyer.

De norske tallene er også betydelig lavere enn gjennomsnittet for de 27 landene som var EU-medlemmer i 2017.

Numbeo-sjef: – Vi kjemper mot spam

På e-post har vi stilt Adamovic flere spørsmål om hvordan Numbeos indekser virker og hvordan dataene de samler inn, blir kvalitetssikret.

– Sjekker dere om brukerene bor i eller har besøkt byene dere presenterer data for?

– Vi lar folk svare på spørreskjemaet selv om lokasjonen ikke stemmer, men vi bruker geolokasjon som et signal for forskjellige filtre, svarer Adamovic.

– Er det mulig for en unik bruker å sende inn svar på en spørreundersøkelse flere ganger? Hvis ikke, hvordan forhindrer dere at en bruker sender inn mer enn ett svar?

– Ja, men vi kjemper mot spam. Vi bruker flere ting for å oppdage spam, for eksempel antall svar per IP-adresse og oppførsel som skiller seg fra det en «ideell god bruker» vil gjøre.

Adamovic skriver også at noen brukere blir flagget som spammere, og at svarene de legger inn blir fjernet.

Vi har også opplyst Numbeo om at vi har lagt inn fiktive data. Adamovic opplyser at systemene til Numbeo ikke oppdaget at vi la inn data om Jessheim.

– Når det gjelder Jessheim, står det på siden at det er 16 bidragsytere. Det er lett å påvirke tallene.

Videre skriver han:

– Jeg er enig i at utvalget vårt ikke er det mest representative.

31. oktober er dataene om Jessheim fjernet fra siden.

Han viser også til advarselen om datakvalitet på siden om Jessheim, og til at Numbeos nettside har høy trafikk.

Faktisk.no har også spurt Rights.no om de ønsker å kommentere innholdet i denne artikkelen. De har så langt ikke besvart henvendelsene våre.