Oppjustering av kvalitet

I henhold til juridisk metode skal like tilfeller alltid behandles likt. I denne artikkelen vil vi imidlertid se på to tilsynelatende like saker der Kofa kommer til ulik konklusjon. Det dreier seg om kvalitetspoeng skal oppjusteres eller ikke.

I Kofa-sak 2014/22 er nemlig vurdering av kvalitetskriterium et av de mange temaene som tas opp. Eller mer konkret "leveringsevne", som er navnet på kalitetskriteriet i denne konkurransen. Oppdragsgiver Forsvarsbygg oppgav i konkurransegrunnlaget at dette kriteriet skulle vurderes på en skala fra 1 til 10.

Klager og valgt leverandør ble vurdert til å få hhv. karakterene 5,6 og 7,8 poeng. So far so good. I evalueringsmodellen blir imidlertid disse dividert med scoren til beste tilbyder, og på den måten oppjustert til hhv. 7,2 og 10 poeng. Den reelle differansen på 2,2 poeng ble dermed også oppjustert til 2,8 poeng. I praksis har altså dårligste tilbud blitt frastjålet 0,6 poeng.

Kofa gir følgende vurdering av denne praksisen:

Når tilbudenes leveringsevne skulle vurderes på en skala fra 1-10, er imidlertid utgangspunktet at hele skalaen skal benyttes. Det blir dermed feil å vurdere klagers tilbud prosentmessig ut fra valgte leverandørs tilbud, i stedet for fra sin innplassering på skalaen. Måten innklagede har justert poengsummene på, kan derfor ha hatt betydning for bedømmelsen av tilbudenes poeng under tildelingskriteriet "Leveringsevne".

Og her støtter jeg Kofa fullt ut. Den type oppjustering som Statsbygg her foretok blir helt vilkårlig, og vil avhenge av hva som tilfeldigvis er beste leveringsevne blant de tilbuda som tilfeldigvis kom inn. En slik tankegang har mer til felles med bingo enn med evaluering.

Det er imidlertid et skjær i sjøen, og skjæret heter sak 2011/201.

I denne saken blir Hordaland fylkeskommune sin kollektivdivisjon Skyss innklagd blant anna for at de nettopp ikke har gjort ei sånn oppjustering av kvalitetskriteriene. Skyss skriver i sitt tilsvar om klagen:

Også for tildelingskriteriene miljø og kvalitet var det mulig å oppnå seks poeng. At ikke noen av tilbudene faktisk oppnådde seks poeng på disse kriteriene berodde på tilbudenes innhold, og har ikke noe med modellen som sådan å gjøre.

Dette er kloke ord fra Skyss. Begrunnelsen er også temmelig lik Kofa sin begrunnelse i saken over.

Klager er naturlig nok uenig i dette, og legger ved en tabell der de prøver å regne ut "reelle" vekter. Når ingen tilbud fikk toppscore på kvalitetskriteriene, fører det naturlig nok til at det blir gitt ut færre poeng totalt for disse kriteriene enn om noen faktisk hadde fått toppscore. I tabellen regner de ut at kvalitetspoengene etter vekting bare utgjør 37% av de samla poengene, og sammenligner det mot 40% oppgitt vekt i konkurransegrunnlaget.

Kofa skriver i sin avgjørelse:

I foreliggende sak har innklagede opplyst at det ble gitt toppscore til beste pris under det enkelte underkriterium til priskriteriet, mens det under "kvalitet" og "miljø" ble foretatt en mer skjønnsmessig vurdering, og hvor ingen av tilbyderne oppnådde seks poeng på noen av underkriteriene. Begrunnelsen for dette er at innklagede la til grunn at det var mulig å tilby bedre på tildelingskriteriene "kvalitet" og "miljø", altså at tilbudene på disse kriteriene ble målt mot et "idealtilbud". Innklagede har dermed brukt en annen metode ved poengsettingen av miljø og kvalitet enn ved poengsettingen av pris. 

Klagers oversikt viser uansett at evalueringen har gitt et resultat hvor konkurransegrunnlagets vektingstall som sitert ovenfor under premiss (3) under punkt 4.2, ikke er fulgt. "Pris" var i konkurransegrunnlaget gitt vektingstall 60 prosent, men ble i stedet faktisk vektet som 63 prosent. "Kvalitet" skulle vært vektet 30, men ble gitt vektingstall 28 prosent. "Miljø"skulle vært vektet ti prosent, men ble gitt vektingstall ni prosent. Slike forskjeller kan ha påvirket resultatet av tilbudsevalueringen, slik klager har påvist. Klagenemnda finner etter dette at innklagede har brutt kravet til forutberegnelighet i loven § 5 ved å benytte en evalueringsmetode som har forskjøvet vektingen av tildelingskriteriene.

Dette er altså samme type modell som i saken over. Begge modellene gir toppscore til beste pris, men Kofa kommer likevel til motsatt konklusjon når det gjelder kvalitet. Og jeg sliter veldig med å se hvorfor. Men årsaken ligger muligens i ordvalget oppdragsgiverne har brukt i konkurransegrunnlaget.

Forsvarsbygg skriver f.eks.:

Det vil bli satt poeng fra 0 til 10 poeng. 10 poeng gis leverandører med svært god redegjørelse på leveranseevne og 0 poeng gis leverandører som ikke dokumenterer leveranseevne

Skyss har ikke noe tilsvarende avsnitt i konkurransegrunnlaget sitt. De skriver bare hva slags kvalitetskriterier som skal telle, men ikke noe om hva som egentlig kreves for å få toppscore.

Jeg synes likevel det er underlig av Kofa å behandle disse tilfellene ulikt. Selv om ordvalg og framstilling er litt forskjellig mellom Forsvarsbygg og Skyss, så tolker jeg det som om meninga er den samme.

Konklusjonen blir i så fall at alle innkjøpere bør være nøye med å presisere at toppscore bare gis til tilbydere som faktisk er gode. På den måten slipper man å måtte gi toppscore til en tilbyder som ikke fortjener det.

Om noen av leserne har ei anna forklaring på hvorfor disse tilsynelatende identiske modellene ikke behandles likt av Kofa, så syng gjerne ut i kommentarfeltet.

Juridiske byggesteiner av luft

Den evalueringsmodellen som sannsynligvis er mest brukt i offentlige anskaffelser ser matematisk ut som følgende (ved to tildelingskriterium):



der a, b, c og d er konstanter, [Laveste pris] er prisen til det billigste tilbudet, og [Beste kvalitet] er kvalietspoengene til tilbudet med best kvalitet.

Å se hele modellen på en gang kan skremme den beste, men det sentrale i modellen er konseptet laveste pris delt på pris. Modellen har den egenskapen at den gir en score på en fastsatt skala mellom d og d + a til hvert tilbud.

Sia modellen er så mye brukt, er det også skrevet mye om den, og den er ganske mye kritisert. Den har to store svakheter som skaper masse problem:

• Invers pris brukes som tildelingskriterium
  Dette gjør at priskriteriet får for mye betydning for lav pris, og for lite betydning for høy pris.
• Laveste pris (multiplisert med en konstant) brukes som vekt på priskriteriet
  Eller sagt med andre ord: vektene er fastsatt ved loddtrekning. I tillegg går det an å jukse med loddene.

Jeg vil gjerne sammenligne denne modellen med statusen homeopati har innen medisin: Det er ikke bevist at den virker, og viss man ser på teorien bak, så er det umulig at den kan virke. Den bryter med omtrent samtlige av de grunnleggende innkjøpsprinsippene, og i tillegg bryter den med hele poenget bak å publisere evalueringsmodeller.

Det er derfor naturlig at modellen flere ganger har vært klagd inn for Kofa. Og etter gjeldende rettspraksis ser det ut til at den stort sett godkjennes, unntatt i de situasjonene der den har gitt et åpenbart hinsides resultat.

Jeg har lenge undra meg over hvordan en slik tallmagi som modellen uttrykker kan passere gjennom klagenemnda år etter år uten at noen sier stopp. Det er derfor interessant å se på Kofa sin begrunnelse for at modellen vanligvis godtas.

Den juridiske metoden er sånn at tidligere avgjorte saker er en vesentlig kilde til hvordan framtidige saker skal avgjøres. Når noen klager på en evalueringsmodell, henviser Kofa derfor ofte til sak 2011/176. I denne saken blir Helse Vest i Stavanger klagd inn av VWR International AS. Helse Vest har her brukt en variant av modellen over, og klager mener modellen "som er benyttet i konkurransen er uforutsigelig (...) og åpner for illojal tilpasning." Og det er jo helt riktig.

Men Kofa godtar modellen. De har ikke noen egentlig begrunnelse for dette, men henviser istedenfor til sak 2008/67. Der har de tidligere godtatt en lignende modell, og juridisk metode tilsier at da må samme modell godtas denne gangen også.

Problemet er at heller ikke sak 2008/67 har noen ordentlig begrunnelse for hvorfor modellen skal godtas. Derimot henviser denne saken tilbake til sak 2006/90, og her finner vi endelig en slags begrunnelse. Kofa skriver (mi utheving): 

En forutsetning for å komme frem til hva som er det beste tilbudet under hvert av tildelingskriteriene, er at det først foretas en vurdering og sammenligning av samtlige kvalifiserte tilbud. Om innklagede velger å gi de øvrige tilbudene poeng regnet i prosent av det beste tilbudet, vil også denne fremgangsmåten være egnet til å premiere relevante forskjeller mellom tilbudene og utpeke det beste tilbudet. På basis av dette har klagenemnda ikke innvendinger mot den poengfastsettingsmåte innklagede har benyttet.

Det går ikke klart fram fra sitatet over, men basert på konteksten det står i, så ser det ut til at sitatet gjelder priskriteriet.  

Det første en i så fall bør legge merke til her, er at Kofa har misforstått hvordan modellen fungerer: De øvrige tilbudene regnes ikke i prosent av det beste tilbudet når det gjelder pris, som Kofa hevder. Derimot er det det beste tilbudet som regnes i prosent av de øvrige. Den første metoden ville gitt en lineær modell, og altså unngått problemet med invers pris.

Dernest kan en legge merke til at det egentlig er ganske fraværende med begrunnelser her. Det eneste vi finner er et forutbestemt premiss (den utheva teksten), men det er ingen forklaring på hvorfor premisset skal stemme. Prosenter er, som vi har sett tidligere, tveegga sverd. I tillegg kan altså ikke premisset brukes i denne situasjonen.

Når vi har å gjøre med en modell som har fått så til de grader slakt i litteraturen, er det ganske oppsiktsvekkende at Kofa ikke gir en skikkelig begrunnelse. Hvor er utregningene, figurene, eksemplene, henvisningene til vitenskapelige artikler og forskning?

I sak 2006/90 har altså Kofa fatta ei ubegrunna beslutning på feil grunnlag. Seinere dommer bygger videre på denne beslutninga, og det kommer stadig nye dommer som bygger videre på dem som bygger videre på dem som bygger på sandgrunn. Stein på stein bygger man et juridisk luftslott.

I luftslottets krinker og kroker kan man boltre seg i metervis med meningsløse utredninger og drøftinger om modellen. Og i hver drøfting er man på jakt etter det store spørsmålet: Har modellen gitt et fornuftig resultat i akkurat denne situasjonen? Eller som Kofa sier det: Er vektene forskjøvet?

Det blir mye god advokatmat av luftslott, men det blir ikke så god samfunnsøkonomisk ressursbruk av det. Og det er egentlig mer skremmende enn selve formelen.

#OffentligeAnskaffelser #Kofa #Evlueringsmodell #Mikroøkonomi