Retting av målegrunnlaget
14. juli 2026
Vi har funnet og rettet to feil i målegrunnlaget vårt. De påvirket resultatene vi har publisert fram til i dag, og de påvirket dem i en retning som gjorde rangeringene våre mindre pålitelige. Her er hva som var galt.
Feil 1: Riktig norsk ble registrert som feil språk
Svar skrevet på korrekt norsk ble i mange tilfeller registrert som at modellen ikke hadde svart på norsk. Feilen rammet ikke modellene likt: den slo hardest ut på korte svar, og dermed skjevt mellom modeller.
Konsekvensen er at språkresultatene våre målte noe annet enn det vi sa de målte. Enkelte modeller ble trukket for norsk som var helt i orden.
Feil 2: De sterkeste modellene fikk ikke svare ferdig
Modeller som resonnerer seg gjennom en oppgave før de svarer, fikk svarene sine avkortet. De ble dermed målt som om de ikke hadde løst oppgaven — enda de aldri fikk anledning til å fullføre den.
Dette rammet flere av de sterkeste modellene på markedet. Verre: enkelte av dem falt ut av utvalget vårt på grunnlag av målinger de aldri fikk gjøre, og fikk dermed ikke sjansen til å komme tilbake.
Hva vi har gjort
Begge feilene er rettet.
Vi lagrer de opprinnelige svarene fra alle modeller, og har derfor kunnet beregne hele historikken på nytt fra kilden. Målinger som ble ødelagt av den andre feilen er forkastet — vi lar dem ikke telle mot modellene, siden feilen var vår.
Modellene som urettmessig falt ut av utvalget, er satt tilbake til testing.
Vi har i tillegg tatt i bruk en ny og strengere vurdering av språkkvalitet, som måler hvor godt norsken faktisk er skrevet — ikke bare om svaret er på norsk.
Tidligere ukesrapporter er trukket tilbake
Ukesrapportene vi har publisert fram til i dag, bygget på tall vi nå vet var feil. De er derfor trukket tilbake i sin helhet. Vi lar dem ikke bli stående korrigert i etterkant, fordi de ikke lar seg rekonstruere ærlig.
Hvorfor vi skriver dette
hvilkenAI er en måletjeneste. Verdien vår er at tallene stemmer. Når de ikke gjør det, er det eneste som er verdt noe at vi sier fra.
Vi har ingen affiliate-avtaler, sponsede plasseringer eller kommersielle bindinger til AI-leverandørene vi tester. Det gjelder fortsatt, og det er nettopp derfor vi ikke har noen grunn til å skjule dette.