Tiltagende diskrepans

Det er godt kjent at relative evalueringsmodeller generelt sett ikke er egna til å finne det beste tilbudet i en anbudskonkurranse. Hvor gode slike modeller er varierer imidlertid svært mye fra situasjon til situasjon. Man kan ha flaks og få det optimale resultatet, eller man kan ha uflaks og få et resultat som er ren galskap. Alt kan skje når man bruker slike modeller. Det er derfor ikke overraskende at Kofa i sak 2014/95 stempler den populære forholdsmessige modellen som ulovlig. Avgjørelsen gjelder ikke modellen generelt, men spesifikt for den situasjonen Kofa vurderer.

Et hovedpoeng i denne dommen er at oppdragsgiver Harstad kommune ikke oppgir noen evalueringsmodell i konkurransegrunnlaget. De velger modell etter tilbudsfristens utløp. Likevel skriver de at pris og kvalitet skal telle hhv. 60% og 40%. Kofa ser på denne situasjonen som analog til det å presisere vekter på kriterier etter tilbudsfristen.

Etter å ha drøfta innholdet i flere tidligere dommer, konkluderer Kofa med at denne fremgangsmåten er ulovlig. Bruk av forholdsmessig modell setter nemlig ulike vekter på pris for ulike tilbud, og det er ikke konsistent med de konstante vektene som ble oppgitt i konkurransegrunnlaget. Slik tolker i alle fall jeg det de skriver:

Metoden fører til at prisforskjellene mellom tilbudene får mindre betydning ved poengfastsettelsen enn den prosentmessige forskjellen fra det rimeligste tilbudet skulle tilsi, og diskrepansen tiltar desto større forskjell det er i pris.

(...)

I foreliggende sak har bruken av den valgte metoden ført til at den faktiske forskjellen mellom laveste pris og valgte leverandørs pris på ca. 40 %, kun har gitt et poengmessig utslag på ca. 28 %. Konkurransegrunnlaget anga videre at tildelingskriteriet pris skulle ha en vekt på 60 %, og det var ikke gitt informasjon om metoden for evaluering. I en slik situasjon kan den forholdsmessige metode ikke anses egnet til å sikre den fastsatte vekten av tildelingskriteriet pris, noe som innebærer at de vilkår EU-domstolen har oppstilt ikke kan anses oppfylt. Dette representerer således et brudd på forskriften § 13-2 (2).

Jeg vil sette fingeren på to ting her:

1. Kofa starter med å refere til klagers anførsel om at 40% prisforskjell bare gir 28% poengforskjell. Vi har imidlertid i en tidligere artikkel sett hvorfor det ikke er riktig å sammenligne prosenter på denne måten. I denne konkurransen har oppdragsgiver brukt en poengskala fra 0 til 10, men mange oppdragsgivere foretrekker en poengskala som starter på 1 istedenfor. Om poengskalaen hadde gått fra 1 til 10 ville prosentmessig endring i poeng vært forskjellig. Man kunne også tenke seg en skala som gikk fra -5 til 10. Da ville 40% poengforskjell også utgjort 40% prisforskjell. Men løser det noe? Nei, resultatet blir det samme uansett hvilken skala man bruker. Kofa burde slutte å bruke irrelevante argumenter.

2. Jeg tolker dommen som om forholdsmessig modell er tillatt dersom man opplyser om dette i konkurransegrunnlaget. Det løser imidlertid ikke problemet med at modellen fortsatt gir ulik vekt for ulike tilbud. Ulik vekting er ikke galt viss det ligger en saklig begrunnelse eller et "innkjøpsfaglig skjønn" bak, men det gjør det ikke her. I forholdsmessig modell får tilbud med lav pris høy vekt på pris, og tilbud med høy pris får lav vekt på pris. Dette er det motsatte av hva som er realistisk. En tilbyder kan dermed oppgi en svært høy pris, og nesten ikke straffes for det i evalueringa.

Det er alltid hyggelig når offentlig bruk av pseudovitenskap blir kjent ulovlig. Om denne dommen fører til mindre bruk av slike modeller, er dette en gledens dag. Jeg frykter imidlertid at dette ikke vil skje. Istedenfor er jeg redd for at mange enten går over til å bruke alternative modeller som har enda større svakheter, eller at man låser seg til forholdsmessig modell. Hvor gode relative modeller er varierer som nevnt over fra situasjon til situasjon. Og skal man bruke slike modeller, er det derfor en fordel å kunne velge modell etter at man vet hvordan situasjonen faktisk er. Om det ikke lenger skal være tillatt, vil vi kanskje få se flere dårlige kontraktstildelinger, da man ikke lenger kan bytte modell om man ser at resultatet blir urimelig.

Poengsetting av pris eller prissetting av kvalitet?

I denne artikkelen har vi fokus på teori. Vi ser på et stort og viktig spørsmål i debatten om evalueringsmodeller: nemlig om man bør poengsette pris eller prissette kvalitet. Konklusjonen er at dette spørsmålet ikke er så viktig likevel, fordi modellene alltid kan regnes om. Vi ser deretter på hvordan de to vanligste poengmodellene kan omregnes til prisform.

Målet med en evalueringsmodell er å sammenligne en oppgitt pris med et eller flere kvalitetskriterier. Kvalitetskriteriene er gjerne evaluert til en eller annen poengscore, og da er spørsmålet hva man skal gjøre for å kunne sammenligne disse poenga med prisen. Dette kan man gjøre på en av tre måter:

• Prisen kan regnes om til poeng
• Kvalitetspoengene kan regnes om til pris
• Eller man kan se på forholdet mellom pris og kvalitet

I denne artikkelen vil vi se på de to første av disse metodene. Mange ser på disse to metodene som helt forskjellige modeller, men ei slik betrakning er feilaktig. Jeg vil gjerne få komme med følgende påstand:

Om man velger å poengsette pris eller prissette kvalitet har ingenting å si. Alle evalueringsmodeller kan formuleres på begge måter, og de vil gi samme resultat uavhengig av hvilken form de blir presentert i.

Så hva bør man da gjøres?

Mange innkjøpere synes det er enklest å forholde seg til poengmodeller. Da kan man oppgi prosentvise vekter for de ulike tildelingskriteriene, og man slipper å måtte forholde seg til hvor mye hvert kvalitetspoeng er verdt i kroner.

For tilbyderne er det imidlertid likegyldig om pris vektes til 30 eller 70 prosent. Det de er opptatt av, er hvordan de kan komme bedre ut i konkurransen. En tilbyder kan anslå hvor mye det vil koste for han å tilby en høyere kvalitet. Og da vil han gjerne vite om han kommer bedre ut i konkurransen ved å øke kvaliteten, og samtidig øke prisen med det den bedre kvaliteten koster.

For tilbyderne er det derfor enklest om evalueringsmodellen er presentert på prisform. Om den ikke er det, må de sjøl tolke og regne på den for å omjustere abstrakte prosenter til tall som kan brukes til noe.

Et anna problem med poengform er at kompleksiteten blir skjult. På prisform er det mye enklere å se hva som egentlig skjer. Om man f.eks. ser at hvert kvalitetspoeng blir verdsatt til flere millioner kroner, bør det absolutt ringe ei bjelle, og man må undersøke om modellen gjør det man egentlig vil. På poengform vil man ikke oppdage slike urimeligheter like lett.

Men man kan jo også få det beste fra begge verdenene: Det er ingenting i veien for at en etat kan bruke poengform internt til å fastsette prisen per kvalitetspoeng. Deretter kan modellen regnes om til prisform før den blir publisert.

Omregning fra poengform til prisform

Det er sikkert noen lesere som ikke trur meg når jeg sier at alle modeller kan regnes om til prisform, så la meg vise det for noen mye brukte poengmodeller. Utgangspunktet er en generell poengmodell på følgende form:


der p og k er hhv. prispoeng og kvalitetspoeng, mens vp og vk er vektene som hører til. Vi ønsker å regne denne om til prisform istedenfor:
 
der P er tilbudspris og c er pris på kvalitet. k er fortsatt kvalitetspoeng.

Legg her merke til at på poengform går kontrakten til tilbyderen med flest poeng. På prisform går kontrakten til den med lavest justert pris.

For å regne om til prisform er det nyttig å stille oss spørsmålet hva pris på kvalitet egentlig uttrykker. Pris på kvalitet er vår verdsetting i kroner av hvert enkelt kvalitetspoeng. Hvor mye ett kvalitetspoeng er verd. Eller for å si det litt mer komplisert: Viss antall kvalitetspoeng øker eller minker med ett poeng, hvor mye måtte tilbudsprisen ha vært justert for at tilbudet skulle blitt evaluert til å være nøyaktig like bra eller dårlig som før? Dette er det samme som å spørre etter den deriverte av prisen med hensyn på kvaliteten. Og denne finner vi enklest ved hjelp av implisitt derivasjon.

1. Forholdsvis modell

En forholdsvis modell kan uttrykkes som følgende på poengform:



der PL er laveste pris, KB er beste kvalitet, a er antall trinn på poengskalaen og b er laveste trinn på poengskalaen.

Implisitt derivasjon gir:



som kan ordnes til:


Dette er da et uttrykk for prisen per kvalitetspoeng, c. Setter vi dette inn i den generelle prismodellen, får vi:



 Merk at jeg ikke på noen måte vil anbefale denne modellen. Jeg viser bare hva som er mulig å gjøre. Svakhetene til modellen kommer jo også klarere fram på prisform:

• Pris på kvalitet varierer fra tilbud til tilbud. Jo høyere pris et tilbud har, jo mer vil kvaliteten verdsettes. Og økninga er eksponentiell
• En lav laveste pris blåser opp kvalitetsprisen til sinnsyke dimensjoner

2. Lineær modell

La oss nå gjøre de samme beregningene for en lineær modell. Dette er den typen modell der man alltid gir laveste poeng til høyeste pris, og høyeste poeng til laveste pris. Modellen kan da se ut sånn som dette:


der PH er høyeste pris, og ellers betyr symbolene det samme som tidligere.

Implisitt derivasjon gir:


Som kan ordnes til:


En fordel med denne modellen er altså at pris på kvalitet blir lik for alle tilbuda. Men den avhenger av forskjellen mellom høyeste og laveste pris. Får man uforutsett lav eller høy spredning her, blir resultatet uforutsigbart.

Også her kan vi sette uttrykket inn den generelle prismodellen:

3. Lineær modell med absolutt poengskala

For å få modellen over mer forutsigbar, bør man på forhånd definere hvilke priser som skal gi høy og lav poengsum. Dvs. å fastsette dette allerede under utarbeidelsen av konkurransegrunnlaget. Selv om man da kan oppleve at enkelte tilbud har priser som ligger over eller under det intervallet man har valgt, er ikke det problem. (Økonomisk sett i alle fall. Hva Kofa kommer fram til er en annen sak.)

Viss modellen da regnes om til prisform, blir den veldig mye forenkla. Man ender opp med følgende formel, der c nå er et enkelt, konstant tall:



La oss ta et eksempel: Tenk deg en konkurranse der pris skal vektes 40% og kvalitet skal vektes 60%. Vi definerer at en pris på 500 000 skal gi 6 poeng, mens en pris på 2 000 000 skal gi ett poeng. Skalaen har dermed fem steg (seks minus en), og vi kan beregne pris på kvalitet til:

Prisen på 450 000 kroner per kvalitetspoeng er dermed det eneste vi trenger å skrive i konkurransegrunnlaget

Denne modellen oppfyller ikke krav som økonomer vanligvis stiller til "avtagende grensenytte". Men den løser alle de store problema som skaper trøbbel i de tradisjonelle poengmodellene.

Oppsummering

Poengmodeller er nesten enerådende innen offentlige anskaffelser i dag. I denne artikkelen har vi sett på hvordan de to mest vanlige poengmodellene kan omskrives til å uttrykke pris på kvalitet. Å regne ut pris på kvalitet er viktig av to grunner: Delvis fordi det hjelper tilbyderene til å levere bedre tilbud, og delvis fordi det hjelper innkjøpere til å avdekke svakheter i evalueringsmodellen.

Vi så at pris på kvalitet i begge modellene er avhengig av egenskaper ved andre tilbud enn det vi i øyeblikket evaluerer, og at det gjør prisen per kvalitetspoeng - og dermed resultatet av evalueringa - uforutsigbart.

I den lineære modellen kan dette løses ved å definere poengskalaen på forhånd. Modellen ender da opp som verdens enkleste evalueringsmodell: ett tall.

Oppjustering av kvalitet

I henhold til juridisk metode skal like tilfeller alltid behandles likt. I denne artikkelen vil vi imidlertid se på to tilsynelatende like saker der Kofa kommer til ulik konklusjon. Det dreier seg om kvalitetspoeng skal oppjusteres eller ikke.

I Kofa-sak 2014/22 er nemlig vurdering av kvalitetskriterium et av de mange temaene som tas opp. Eller mer konkret "leveringsevne", som er navnet på kalitetskriteriet i denne konkurransen. Oppdragsgiver Forsvarsbygg oppgav i konkurransegrunnlaget at dette kriteriet skulle vurderes på en skala fra 1 til 10.

Klager og valgt leverandør ble vurdert til å få hhv. karakterene 5,6 og 7,8 poeng. So far so good. I evalueringsmodellen blir imidlertid disse dividert med scoren til beste tilbyder, og på den måten oppjustert til hhv. 7,2 og 10 poeng. Den reelle differansen på 2,2 poeng ble dermed også oppjustert til 2,8 poeng. I praksis har altså dårligste tilbud blitt frastjålet 0,6 poeng.

Kofa gir følgende vurdering av denne praksisen:

Når tilbudenes leveringsevne skulle vurderes på en skala fra 1-10, er imidlertid utgangspunktet at hele skalaen skal benyttes. Det blir dermed feil å vurdere klagers tilbud prosentmessig ut fra valgte leverandørs tilbud, i stedet for fra sin innplassering på skalaen. Måten innklagede har justert poengsummene på, kan derfor ha hatt betydning for bedømmelsen av tilbudenes poeng under tildelingskriteriet "Leveringsevne".

Og her støtter jeg Kofa fullt ut. Den type oppjustering som Statsbygg her foretok blir helt vilkårlig, og vil avhenge av hva som tilfeldigvis er beste leveringsevne blant de tilbuda som tilfeldigvis kom inn. En slik tankegang har mer til felles med bingo enn med evaluering.

Det er imidlertid et skjær i sjøen, og skjæret heter sak 2011/201.

I denne saken blir Hordaland fylkeskommune sin kollektivdivisjon Skyss innklagd blant anna for at de nettopp ikke har gjort ei sånn oppjustering av kvalitetskriteriene. Skyss skriver i sitt tilsvar om klagen:

Også for tildelingskriteriene miljø og kvalitet var det mulig å oppnå seks poeng. At ikke noen av tilbudene faktisk oppnådde seks poeng på disse kriteriene berodde på tilbudenes innhold, og har ikke noe med modellen som sådan å gjøre.

Dette er kloke ord fra Skyss. Begrunnelsen er også temmelig lik Kofa sin begrunnelse i saken over.

Klager er naturlig nok uenig i dette, og legger ved en tabell der de prøver å regne ut "reelle" vekter. Når ingen tilbud fikk toppscore på kvalitetskriteriene, fører det naturlig nok til at det blir gitt ut færre poeng totalt for disse kriteriene enn om noen faktisk hadde fått toppscore. I tabellen regner de ut at kvalitetspoengene etter vekting bare utgjør 37% av de samla poengene, og sammenligner det mot 40% oppgitt vekt i konkurransegrunnlaget.

Kofa skriver i sin avgjørelse:

I foreliggende sak har innklagede opplyst at det ble gitt toppscore til beste pris under det enkelte underkriterium til priskriteriet, mens det under "kvalitet" og "miljø" ble foretatt en mer skjønnsmessig vurdering, og hvor ingen av tilbyderne oppnådde seks poeng på noen av underkriteriene. Begrunnelsen for dette er at innklagede la til grunn at det var mulig å tilby bedre på tildelingskriteriene "kvalitet" og "miljø", altså at tilbudene på disse kriteriene ble målt mot et "idealtilbud". Innklagede har dermed brukt en annen metode ved poengsettingen av miljø og kvalitet enn ved poengsettingen av pris. 

Klagers oversikt viser uansett at evalueringen har gitt et resultat hvor konkurransegrunnlagets vektingstall som sitert ovenfor under premiss (3) under punkt 4.2, ikke er fulgt. "Pris" var i konkurransegrunnlaget gitt vektingstall 60 prosent, men ble i stedet faktisk vektet som 63 prosent. "Kvalitet" skulle vært vektet 30, men ble gitt vektingstall 28 prosent. "Miljø"skulle vært vektet ti prosent, men ble gitt vektingstall ni prosent. Slike forskjeller kan ha påvirket resultatet av tilbudsevalueringen, slik klager har påvist. Klagenemnda finner etter dette at innklagede har brutt kravet til forutberegnelighet i loven § 5 ved å benytte en evalueringsmetode som har forskjøvet vektingen av tildelingskriteriene.

Dette er altså samme type modell som i saken over. Begge modellene gir toppscore til beste pris, men Kofa kommer likevel til motsatt konklusjon når det gjelder kvalitet. Og jeg sliter veldig med å se hvorfor. Men årsaken ligger muligens i ordvalget oppdragsgiverne har brukt i konkurransegrunnlaget.

Forsvarsbygg skriver f.eks.:

Det vil bli satt poeng fra 0 til 10 poeng. 10 poeng gis leverandører med svært god redegjørelse på leveranseevne og 0 poeng gis leverandører som ikke dokumenterer leveranseevne

Skyss har ikke noe tilsvarende avsnitt i konkurransegrunnlaget sitt. De skriver bare hva slags kvalitetskriterier som skal telle, men ikke noe om hva som egentlig kreves for å få toppscore.

Jeg synes likevel det er underlig av Kofa å behandle disse tilfellene ulikt. Selv om ordvalg og framstilling er litt forskjellig mellom Forsvarsbygg og Skyss, så tolker jeg det som om meninga er den samme.

Konklusjonen blir i så fall at alle innkjøpere bør være nøye med å presisere at toppscore bare gis til tilbydere som faktisk er gode. På den måten slipper man å måtte gi toppscore til en tilbyder som ikke fortjener det.

Om noen av leserne har ei anna forklaring på hvorfor disse tilsynelatende identiske modellene ikke behandles likt av Kofa, så syng gjerne ut i kommentarfeltet.

Juridiske byggesteiner av luft

Den evalueringsmodellen som sannsynligvis er mest brukt i offentlige anskaffelser ser matematisk ut som følgende (ved to tildelingskriterium):



der a, b, c og d er konstanter, [Laveste pris] er prisen til det billigste tilbudet, og [Beste kvalitet] er kvalietspoengene til tilbudet med best kvalitet.

Å se hele modellen på en gang kan skremme den beste, men det sentrale i modellen er konseptet laveste pris delt på pris. Modellen har den egenskapen at den gir en score på en fastsatt skala mellom d og d + a til hvert tilbud.

Sia modellen er så mye brukt, er det også skrevet mye om den, og den er ganske mye kritisert. Den har to store svakheter som skaper masse problem:

• Invers pris brukes som tildelingskriterium
  Dette gjør at priskriteriet får for mye betydning for lav pris, og for lite betydning for høy pris.
• Laveste pris (multiplisert med en konstant) brukes som vekt på priskriteriet
  Eller sagt med andre ord: vektene er fastsatt ved loddtrekning. I tillegg går det an å jukse med loddene.

Jeg vil gjerne sammenligne denne modellen med statusen homeopati har innen medisin: Det er ikke bevist at den virker, og viss man ser på teorien bak, så er det umulig at den kan virke. Den bryter med omtrent samtlige av de grunnleggende innkjøpsprinsippene, og i tillegg bryter den med hele poenget bak å publisere evalueringsmodeller.

Det er derfor naturlig at modellen flere ganger har vært klagd inn for Kofa. Og etter gjeldende rettspraksis ser det ut til at den stort sett godkjennes, unntatt i de situasjonene der den har gitt et åpenbart hinsides resultat.

Jeg har lenge undra meg over hvordan en slik tallmagi som modellen uttrykker kan passere gjennom klagenemnda år etter år uten at noen sier stopp. Det er derfor interessant å se på Kofa sin begrunnelse for at modellen vanligvis godtas.

Den juridiske metoden er sånn at tidligere avgjorte saker er en vesentlig kilde til hvordan framtidige saker skal avgjøres. Når noen klager på en evalueringsmodell, henviser Kofa derfor ofte til sak 2011/176. I denne saken blir Helse Vest i Stavanger klagd inn av VWR International AS. Helse Vest har her brukt en variant av modellen over, og klager mener modellen "som er benyttet i konkurransen er uforutsigelig (...) og åpner for illojal tilpasning." Og det er jo helt riktig.

Men Kofa godtar modellen. De har ikke noen egentlig begrunnelse for dette, men henviser istedenfor til sak 2008/67. Der har de tidligere godtatt en lignende modell, og juridisk metode tilsier at da må samme modell godtas denne gangen også.

Problemet er at heller ikke sak 2008/67 har noen ordentlig begrunnelse for hvorfor modellen skal godtas. Derimot henviser denne saken tilbake til sak 2006/90, og her finner vi endelig en slags begrunnelse. Kofa skriver (mi utheving): 

En forutsetning for å komme frem til hva som er det beste tilbudet under hvert av tildelingskriteriene, er at det først foretas en vurdering og sammenligning av samtlige kvalifiserte tilbud. Om innklagede velger å gi de øvrige tilbudene poeng regnet i prosent av det beste tilbudet, vil også denne fremgangsmåten være egnet til å premiere relevante forskjeller mellom tilbudene og utpeke det beste tilbudet. På basis av dette har klagenemnda ikke innvendinger mot den poengfastsettingsmåte innklagede har benyttet.

Det går ikke klart fram fra sitatet over, men basert på konteksten det står i, så ser det ut til at sitatet gjelder priskriteriet.  

Det første en i så fall bør legge merke til her, er at Kofa har misforstått hvordan modellen fungerer: De øvrige tilbudene regnes ikke i prosent av det beste tilbudet når det gjelder pris, som Kofa hevder. Derimot er det det beste tilbudet som regnes i prosent av de øvrige. Den første metoden ville gitt en lineær modell, og altså unngått problemet med invers pris.

Dernest kan en legge merke til at det egentlig er ganske fraværende med begrunnelser her. Det eneste vi finner er et forutbestemt premiss (den utheva teksten), men det er ingen forklaring på hvorfor premisset skal stemme. Prosenter er, som vi har sett tidligere, tveegga sverd. I tillegg kan altså ikke premisset brukes i denne situasjonen.

Når vi har å gjøre med en modell som har fått så til de grader slakt i litteraturen, er det ganske oppsiktsvekkende at Kofa ikke gir en skikkelig begrunnelse. Hvor er utregningene, figurene, eksemplene, henvisningene til vitenskapelige artikler og forskning?

I sak 2006/90 har altså Kofa fatta ei ubegrunna beslutning på feil grunnlag. Seinere dommer bygger videre på denne beslutninga, og det kommer stadig nye dommer som bygger videre på dem som bygger videre på dem som bygger på sandgrunn. Stein på stein bygger man et juridisk luftslott.

I luftslottets krinker og kroker kan man boltre seg i metervis med meningsløse utredninger og drøftinger om modellen. Og i hver drøfting er man på jakt etter det store spørsmålet: Har modellen gitt et fornuftig resultat i akkurat denne situasjonen? Eller som Kofa sier det: Er vektene forskjøvet?

Det blir mye god advokatmat av luftslott, men det blir ikke så god samfunnsøkonomisk ressursbruk av det. Og det er egentlig mer skremmende enn selve formelen.

#OffentligeAnskaffelser #Kofa #Evlueringsmodell #Mikroøkonomi

Kommunen med like mange hager og parker

Kofa-sak 2013/127 11. desember 2014 handler om at Omsorgsbygg Oslo KF skal inngå rammeavtale om kontroll av diverse utstyr på eiendommene sine. Tilbyderne bes fylle ut et prisskjema med fire poster:

• Pris for tilstandsrapport, per barnehage
• Pris for tilstandsrapport, per barnepark
• Pris for kontrollrapport, per barnehage
• Pris for kontrollrapport, per barnepark

De opplyser ikke i konkurransegrunnlaget hvordan prisene skal vektes sammen. Men de gir ei forklaring på hvordan dette ble gjort etter at kontrakten var tildelt. De skriver der at prisene rett og slett bare ble lagt sammen uten noen som helst vekting.

Lekeplasskontrollen DA klager dette inn til Kofa. De mener at det blir feil å bare legge prisene sammen. For å få en riktig totalpris, mener de, må prisene først multipliseres med hhv. antall barnehager og antall barneparker.

Klager har her selvfølgelig helt rett. Ved å ikke foreta sånn vekting, forutsetter Omsorgsbygg Oslo at de har like mange barnehager og barneparker. Det er urimelig.

Kofa gir da også medhold til klager. De viser til en dom fra EU-domstolen som omhandler vekting av underkriterier etter tilbudsfristen. Her går det fram at dette bare kan gjøres viss det "ikke indeholder forhold, som, hvis de havde været kendt på tidspunktet for forberedelsen af buddene, kunne have haft indflydelse på denne forberedelse ". Kofa konkluderer derfor med følgende:

At denne informasjonen ikke ble gitt til tilbyderne på tidspunktet for forberedelse av tilbudene, innebærer således et brudd på kravet til forutberegnelighet i loven §5.
 
En god avgjørelse fra Kofa.

Omgang med relative tall

Sak 2012/185 fra Kofa 19. mai 2014 handler om innkjøp av byggeledertjenester til Moss kommunale eiendomsselskap. Eiendomsselskapet brukte der en evalueringsmodell med poengsetting av pris. Prispoenga ble regna ut etter en linear, relativ modell basert på høyeste og laveste pris:

Det er kanskje ikke så lett å se det fra formelen, men den innebærer at prisene ble gitt en karakter på en skala fra 1 til 6, der 6 er best.

Følgende tilbud kom inn:

	Pris	Prispoeng
Rambøll Norge AS	876 350	5,48
Sweco Norge AS	3 758 380	1,00
EVR Norge AS	898 170	5,44
Stema Rådgivning AS	750 000	5,67
Haga & Hågensen AS	733 900	5,70
Reinertsen AS	1 967 460	3,78
Faveo Prosjektledelse AS	540 000	6,00
A. L. Høyer Askim AS	768 000	5,65
Opak AS	1 407 640	4,65
HR Prosjekt AS	932 000	5,39

(En trykkfeil/regnefeil i dokumentet fra Kofa er her retta.)

Faveo Prosjektledelse AS klager evalueringa inn til Kofa, med den begrunnelse at poengregelen ikke fanger opp relevante forskjeller. Dobling av pris fører f.eks. ikke til dobling av poeng, noe de mener er ulovlig. I tillegg hevdes det at skalaen er for kort. Når poengskalaen bare går fra 1 til 6, får hvert poeng for mye å si.

Kofa godtar argumentene fra klager, og stempler modellen som ulovlig. I avgjørelsen skriver de:

Klagenemnda utelukker ikke at en slik evalueringsmodell kan være egnet til å premiere relevante forskjeller i de tilbudte prisene. Men i den foreliggende saken var prisforskjellen meget stor mellom billigste og dyreste tilbud, i tillegg til at innklagede benyttet en poengmodell med få trinn. Selv om innklagede brukte to desimaler i angivelsen av karakterpoengene for "Pris", var det bare fem karakterintervaller i poengmodellen. Hvert intervall, dvs. forskjellen mellom hver poengkarakter, utgjorde dermed kr. 643 676,-, hvilket til og med var mer enn laveste tilbudte pris. Slik nemnda forstår det, førte dette til at 100 % høyere pris enn laveste tilbudte pris, avstedkom en poengreduksjon på kun omtrent 15 %. Valgte leverandør tilbød 42 % høyere pris enn klager, men fikk bare 6 % lavere poengscore. Modellen har således ikke premiert relevante forskjeller i tilbudene i denne saken.

Denne begrunnelsen er noe underlig. Det første som en underlig er at Kofa ser på det som et problem at modellen har få "trinn". Det er nemlig alltid et uendelig antall tall mellom alle tall, og en skala fra 1 til 6 kan uttrykke like store forskjeller som en skala fra 1 til 100. Hvorfor mener Kofa det er relevant hvordan modellen er skalert?

Også det neste argumentet høres tvilsomt ut. Kofa ser på det som et problem at 42% høyere pris bare gir 6% lavere score. Men gjør det noe? Tenk deg f.eks. en konkurranse der man får inn tre tilbud med priser på 300 000, 200 000 og 100 000. Og la oss videre si at vi har en evalueringsmodell der disse tilbuda får hhv. 1, 2 og 3 prispoeng. Her ser vi at 100% økning av pris fra 100 000 til 200 000 gir en reduksjon i prispoeng på 33%.

Men hva så om vi heller hadde gitt prispoeng på 101, 102 og 103 til de samme tilbuda? Nå vil 100% økning i pris gi under 1% reduksjon i prispoeng. Det høres jo veldig lite ut, og må vel bety at den siste modellen ikke fanger opp relevante forskjeller? Jeg blir da frista til å omskrive et kjent sitat fra TV-programmet Folkeopplysningen:

I omgang med relative tall blir hjernen ofte lurt.

For modellene er matematisk identiske, og vil gi samme resultat i evalueringa. I ei ulikhet kan vi nemlig alltid legge til og trekke fra samme tall på begge sider uten at rangeringa forandres. Prosentvis endring i prispoeng er altså irrelevant, og heller ikke noe argument i mot den aktuelle evalueringsmodellen.

Men selv om begrunnelsen fra Kofa ser rimelige svak ut, er det ikke noe i veien med konklusjonen. Moss kommunale eiendomselskap sin metode gir alltid 6 poeng til laveste pris og 1 poeng til høyeste pris. Uansett hvor stor prisforskjellen mellom tilbuda egentlig er. En prisforskjell på f.eks. 100 000 vil altså bli sett på som likeverdig med en prisforskjell på 100 millioner! Den fanger ikke opp forskjeller mellom høyeste og laveste pris i det hele tatt! Men den fanger opp forskjeller for priser som ligger i mellom. Her har vi altså både et brudd på prinsippet om at man skal ta hensyn til relevante forskjeller, og til prinsippet om likebehandling.

Det er synd at Kofa ikke hadde en bedre begrunnelse for vedtaket. Men forhåpentligvis fører vedtaket likevel til at denne modellen ikke blir brukt igjen.

Hva er en evalueringsmodell?

Tenk deg at du skal kjøpe ei ny bukse. I butikken finner du éi dyr bukse av god kvalitet, og éi billig bukse av dårlig kvalitet. Hvordan skal du velge ut hvem av dem du skal kjøpe?

For å kunne foreta valget må du gjøre ei vurdering av hvordan pris og kvalitet skal telle i forhold til hverandre. Er det verd å betale de ekstra kronene for å få bedre kvalitet?

En evalueringsmodell er et verktøy som kan hjelpe deg i å foreta slike vurderinger. Ofte uttrykker man en evalueringsmodell som en matematisk formel. Ved å legge inn pris og vurdering av kvalitet i formelen, får man ut en eller annen score. Man velger så å kjøpe det produktet som fikk høyest score.

Evalueringsmodeller brukes ofte i forbindelse med offentlige innkjøp. Organisasjoner og etater i offentlig sektor kjøper inn varer og tjenester for store beløp. Slike innkjøp blir ofte organisert som anbudskonkurranser. Det betyr at den offentlige etaten lager et dokument der den beskriver hva den vil ha. De bedriftene som ønsker det kan deretter levere inn tilbud til etaten. I tilbudene forklarer de hvilke produkt de tilbyr, og hvilken pris de opererer med. Ofte vil man få noen tilbud med høy pris og god kvalitet, og noen tilbud med lav pris og dårlig kvalitet. På samme måte som i bukseeksempelet over. Den offentlige etaten kan da bruke en evalueringsmodell for å finne ut hvilken bedrift som har levert det beste tilbudet, og som derfor skal få kontrakten.

Slike modeller kan formuleres på mange ulike måter. En god modell må klare å vurdere de ulike bedriftene på en rettferdig måte, og finne ut hvilket tilbud det er som er best.

Viss etaten klarer å lage en modell som i stor nok grad uttrykker de ønskene den har, er det en fordel å publisere modellen på forhånd. Bedriftene vil da kunne se nøyaktig hvordan de vil bli vurdert. Det gjør dem i stand til å lage tilbud som bedre oppfyller etaten sine ønsker. Publisering er derfor en fordel både for bedriftene og for etaten.

I tillegg må bruken av modellen oppfylle en rekke juridiske krav. For eksempel:

1. Forutberegnelighet: Bedriftene som leverer inn tilbud skal på forhånd vite hvordan de vil bli evaluert. Det skal ikke komme som en overraskelse.
2. Likebehandling: Alle bedrifter og tilbud skal vurderes på samme, likeverdige måte.
3. Man skal ikke ta hensyn til irrelevante forhold.
4. Man skal ta hensyn til alle relevante forskjeller.
   
   Og sist, men ikke minst:
5. Modellen skal velge ut det økonomisk mest fordelaktige tilbudet.

I praksis forekommer det ofte at etater bruker modeller som ikke oppfyller disse krava. Derfor finnes den såkalte Klagenemnda for offentlige anskaffelser (Kofa). Ei bedrift som mener at den tapte anbudskonkurransen pga. at et slikt krav ble brutt, kan klage saken inn til Kofa. Kofa gjør da ei vurdering av saken, og vurderer på egen hånd om etaten har brutt regelverket.

I denne bloggen vil vi kommentere og eventuelt kritisere slike avgjørelser fra Kofa og andre domstoler.