Fire perspektiver på evaluering

Ifølge en ny optælling foretaget af Nyhedsbrevet Danmarks Fonde evaluerer mindst 47 ud af 57 af de største danske fonde deres filantropiske aktiviteter. Men hvornår, hvordan og hvorfor bør man evaluere sine indsatser? Lundbeckfonden, Oak Foundation Denmark, Carlsbergfondet og Tuborgfondet byder her ind med svar fra fire forskellige vinkler.

Lundbeckfonden: Vi skylder os selv og omgivelserne at evaluere

Med en vær­di på me­re end 60 mia. kr. og år­li­ge ud­de­lin­ger på ca. 500 mio. kr. er Lund­beck­fon­den den stør­ste bi­drag­sy­der til dansk of­fent­ligt ud­ført hjerneforskning.

Hvert år ud­de­ler fon­den des­u­den den an­se­te The Brain Prize, der be­står af 1 mio. eu­ro og gi­ves til 1-3 hjer­ne­for­ske­re – of­test fra Eu­ro­pa – som har haft ba­ne­bry­den­de ind­fly­del­se på hjer­neforskningen. Pri­sen er og­så spy­d­spid­sen i Lund­beck­fon­dens am­bi­tion om gø­re Dan­mark til et land med hjer­ne­forsk­ning i verdensklasse.

For at vi­de om må­let kom­mer tæt­te­re på, kræ­ves der eva­lu­e­ring af forsk­nin­gen. Og net­op eva­lue­ring er et om­rå­de, som Lund­beck­fon­den vil sat­se me­re på i de kom­men­de år, for­tæl­ler dr​.med. Kim Krogs­gaard, He­ad of Prizes ved Lund­beck­fonden. Iføl­ge Kim Krogs­gaard har Lund­beckfonden en grund­læg­gen­de pligt til at eva­lu­e­re si­ne filan­tro­pi­ske ak­ti­vi­te­ter for at kun­ne do­ku­men­te­re fon­dens virke:

“Do­ku­men­ta­tion er jo et for­kætret ord i dis­se ti­der i sam­fun­det, for­di der er så me­get, der skal do­ku­men­te­res. Men som fond med sto­re ud­de­lin­ger skyl­der vi os selv og vo­res om­gi­vel­ser do­ku­men­ta­tion for det, vi gør. Des­u­den vil vi ger­ne ha­ve evi­dens for, at vi er med til at gø­re en for­skel. Og vi vil ger­ne vi­de med sik­ker­hed, om vo­res sats­nin­ger og stra­te­gi­er vir­ker – el­ler om eva­lu­e­rin­ger­ne gi­ver an­led­ning til at ju­ste­re stra­te­gi­en,” si­ger Kim Krogsgaard.

Lund­beck­fon­dens ker­ne­om­rå­de er hjer­ne­forsk­ning. Og på grund af hjer­ne­forsk­nin­gens na­tur­li­ge slægtskab med og for­kær­lig­hed for fæ­no­me­ner, der kan må­les og ve­jes, så fal­der det Lund­beck­fon­den li­ge for at be­skæf­ti­ge sig med sci­en­to­me­tri – alt­så må­ling af vi­den­ska­be­lig kva­li­tet – som en del af evalueringsarbejdet:

“I Lund­beck­fon­den støt­ter vi for­ske­re, der la­ver no­get, der kan må­les og ve­jes på man­ge må­der. Og det at pu­bli­ce­re kan jo f.eks. bru­ges som en in­di­ka­tor for, hvad der kom­mer ud af forsk­ningen. Og når nu vi har de sci­en­to­me­tri­ske in­di­ka­to­rer, så lig­ger det selv­føl­ge­lig li­ge for at gø­re brug af dem. Men jeg kan godt se, at der kan væ­re om­rå­der, hvor det kan væ­re me­get van­ske­li­ge­re at eva­lu­e­re sin ef­fekt. Så det er ik­ke, for­di at jeg er glo­bal be­lie­ver i re­search im­pact as­ses­sment, for der kan jo væ­re om­rå­der, hvor det kan væ­re utro­lig svært at ‘as­ses­se im­pact’, og hvor man må­ske først kan se en ef­fekt om 50 år. Men li­ge net­op i vo­res om­rå­de – bio­me­di­cin og hjer­ne­forsk­ning, som er om­rå­der i hur­tigt vækst – der lig­ger det li­ge for at se på det,” si­ger Kim Krogsgaard.

Som fond med sto­re ud­de­lin­ger skyl­der vi os selv og vo­res om­gi­vel­ser do­ku­men­ta­tion for det, vi gør.
Kim Krogs­gaard – dr​.med., He­ad of Prizes, Lundbeckfonden

Selv­om Lund­beck­fon­den ger­ne be­nyt­ter sig af sci­en­to­me­tri­en i eva­lu­e­rings­ar­bej­det, så gør Kim Krogs­gaard og­så op­mærk­som på, at den­ne ty­pe eva­lu­e­ring må­ske ik­ke fan­ger al kva­li­tets­forsk­ning – som f.eks. den forsk­ning, der skal hædres med The Brain Prize:

“Man skal ik­ke stir­re sig blind på sci­en­to­me­tri, ci­ta­tio­ner, an­tal ar­tik­ler og så­dan nog­le ting. Og når vi f.eks. ud­de­ler The Brain Prize, så bli­ver kan­di­da­ter­ne jo vur­de­ret godt og grun­digt of­test uden ske­len til sci­en­to­me­tri­ske in­di­ka­to­rer. Så det er no­get, vi er op­mærk­som­me på i den sam­men­hæng. Når vi ud­de­ler pen­ge, skal vi må­ske væ­re end­nu me­re op­mærk­som­me på sel­ve forsk­nings­idéen og ik­ke, om der er ta­le om et sik­kert pro­jekt i den for­stand, at for­ske­ren kom­mer med en god tra­ck record.”

Al­li­ge­vel vur­de­rer han, at den sci­en­to­me­tri­ske frem­gangs­må­de er en cen­tral del af at vur­de­re, om forsk­ning har verdensklasse:

"Man skal ik­ke enø­jet la­de sig sty­re af eva­lu­e­ring via sci­en­to­me­tri­ske in­di­ka­to­rer. Men de kan bru­ges til at få en for­nem­mel­se. Man kan si­ge, at hvis en for­sker har væ­ret i gang i 15 år og har fi­re pu­bli­ka­tio­ner, som har væ­ret ci­te­ret to gan­ge, så tror jeg ba­re ik­ke på, at det er ver­dens­klas­se­forskning. Og så kan der væ­re én, der har 100 pu­bli­ka­tio­ner, og det er hel­ler ik­ke nød­ven­dig­vis én, der har flyt­tet ver­den. Så man kan ik­ke én til én vur­de­re forsk­ning på bag­grund af de her in­di­ka­to­rer. Men ud­gangs­punk­tet er, at hvis man ik­ke pu­bli­ce­rer, hvis in­gen gi­der at læ­se det, in­gen gi­der at ci­te­re det, så er det nok ik­ke me­get værd."

Lund­beck­fon­den har for ny­lig an­sat en me­d­ar­bej­der til at styr­ke eva­lu­e­rings­ar­bej­det over den kom­men­de tid, og Kim Krogs­gaard for­tæl­ler, at han glæ­der sig til at op­byg­ge en me­re so­lid evalueringskapacitet:

"Vi er kom­met godt i gang, og vi har sto­re for­håb­nin­ger om at kun­ne le­ve­re no­get, der er nyt­tigt for os selv og må­ske og­så for an­dre. Vi vil ger­ne de­le alt det, vi kan, med om­ver­de­nen,” slut­ter Kim Krogs­gaard fra Lundbeckfonden.

Oak Foundation Denmark: Evaluering kan blive elastik i metermål

Oak Fo­un­da­tion Den­mark så da­gens lys i 2002, og i dag støt­ter fon­den ude­luk­ken­de so­ci­a­le pro­jekter i Dan­mark og Grøn­land. Fon­den støt­ter ty­pisk pro­jek­ter med mel­lem 100.000 kr. og 1 mio. kr., og har igen­nem de sid­ste fem år støt­tet me­re end 225 projekter.

Langt de fle­ste so­ci­a­le ind­sat­ser er svæ­re at må­le ef­fek­ten af, med­min­dre der er ta­le om de helt sto­re for­kro­me­de under­sø­gel­ser med kontrol­grup­per osv. Evalue­ring kan der­for nemt bli­ve lidt lige­som at sæl­ge ela­stik i metermål.

Est­her Nør­re­gård-Ni­el­­sen – di­rek­tør i OAK Fo­un­da­tion Denmark

Di­rek­tør Est­her Nør­re­gård-Ni­el­sen er ud­dan­net ph.d. i so­cio­lo­gi og har igen­nem man­ge år ar­bej­det som eva­lu­e­rings­kon­su­lent og cen­sor for bå­de det øko­no­mi­ske og sam­funds­vi­den­ska­be­lige cen­sor­kor­ps. Hun me­ner, at eva­lu­e­ring har sin plads i det filan­tro­pi­ske ar­bej­de, men først ef­ter et om­hyg­ge­ligt forarbejde:

“Før man går i gang, skal man over­ve­je rig­tig grun­digt, hvad man skal bru­ge eva­lu­e­rin­gen til. Langt de fle­ste so­ci­a­le ind­sat­ser er svæ­re at må­le ef­fek­ten af, med­min­dre der er ta­le om de helt sto­re for­kro­me­de un­der­sø­gel­ser med kon­trol­grup­per osv. Eva­lu­e­ring kan der­for nemt bli­ve lidt li­ge­som at sæl­ge ela­stik i me­ter­mål. For hvor­dan vur­de­rer man egent­lig, at no­get er ble­vet bed­re? Spe­ci­elt når rig­tig man­ge ind­sat­ser først har en re­le­vant ef­fekt set på læn­ge­re sigt el­ler må­ske har den bed­ste ef­fekt på helt an­dre om­rå­der,” si­ger Est­her Nørregård-Nielsen.

Hun op­le­ver en ten­dens i ti­den, hvor man­ge an­sø­ge­re per re­fleks an­ta­ger, at fon­de­ne kræ­ver en eva­lu­e­ring som en del af be­tin­gel­ser­ne for støt­te. Men den an­ta­gel­se vil hun ger­ne udfordre:

“Man kan al­tid læ­re me­get af et gi­vent pro­jekt, hvil­ket er en god grund til at eva­lu­e­re. Men man er nødt til at over­ve­je grun­digt, hvad man kan få ud af en eva­lu­e­ring. Og er den ener­gi­en og uma­gen værd? For ti­den sy­nes jeg ik­ke, at jeg ser an­det end an­søg­nin­ger, hvor der næ­sten au­to­ma­tisk er an­ført, at man har brug for 150.000 kro­ner til en eva­lu­e­ring. Og når man så spør­ger, hvad an­sø­ger­ne har tænkt sig at bru­ge eva­lu­e­rin­gen til, og hvem der i sid­ste en­de skal mod­ta­ge den, så fin­des der ik­ke al­tid et sær­lig ty­de­ligt svar. Men an­sø­ger­ne er vant til, at fon­de­ne ef­ter­spør­ger eva­lu­e­rin­ger. Og groft sagt bli­ver det så som om, at et pro­jekt ik­ke fun­ge­rer uden eva­lu­e­ring,” si­ger Est­her Nørregård-Nielsen.

Hun ad­va­rer og­så imod, at vis­se go­de pro­jek­ter kan bli­ve svæ­re­re at fi­nan­si­e­re, hvis der al­tid stil­les krav om at skul­le eva­lu­e­re ud fra strin­gen­te resultatmålinger:

“Hvis vi som fond gi­ver pen­ge til et pro­jekt, hvor det ba­re er rig­tig svært at stil­le me­nings­ful­de eva­lu­e­rings­mål op, men hvor sel­ve pro­jek­tet fak­tisk la­der til at ha­ve rig­tig god nyt­te, skul­le vi så la­de væ­re med det, nu hvor vi ik­ke kan må­le dets ef­fekt? Man skal pas­se på, at må­le­ne ik­ke kom­mer til at sty­re el­ler bli­ver for­mu­le­ret med ud­gangs­punkt i, hvad der kan eva­lu­e­res sna­re­re end det, man ger­ne vil op­nå,” si­ger di­rek­tø­ren og un­der­stre­ger, at eva­lue­ring og­så sag­tens kan gi­ve mening:

“Jeg sy­nes selv­føl­ge­lig, at der al­tid er god grund til at kig­ge kri­tisk på sit ar­bej­de og over­ve­je at få an­dres øj­ne på for at se, om det, som man gør, kom­mer de rig­ti­ge til go­de. Grund­læg­gen­de er det en rig­tig god idé med eva­lu­e­rin­ger, men de skal ba­re bru­ges for­nuf­tigt,” slut­ter Est­her Nørregård-Nielsen.

Carlsbergfondet: Grundforskning skal ikke altid evalueres med et tal

Som en af ver­dens æld­ste er­hvervs­dri­ven­de fon­de har Carls­berg­fon­det ek­si­ste­ret si­den 1876, hvor bryg­ger J.C. Ja­cob­sen op­ret­te­de fon­den. Cen­tralt i fon­dens vir­ke står Ja­cob­sens De Gyld­ne Ord, som blandt an­det næv­ner, at kort­sig­te­de hen­syn til “den øie­blik­ke­li­ge for­del” al­drig må vin­de over det lang­sig­te­de hen­syn til “den størst mu­li­ge fuld­kom­men­hed”. Carls­berg­fon­det be­vil­ge­de i 2017 cir­ka 279 mio. kr., hvoraf langt stør­ste­delen – 212 mio. kr. – gik til støt­te af grundforskning.

I Carls­berg­fon­det er vo­res stra­te­gi, at det er ek­stremt vig­tigt at støt­te grund­forsk­ning ud fra en år­hund­re­delang er­fa­ring om, at vi­den­ska­be­li­ge ny­brud of­te kom­mer fra grund­forsk­ning, og at dis­se ny­brud ik­ke kan forudsiges

Flem­m­ing Be­sen­ba­cher – be­sty­rel­ses­for­mand i Carlsbergfondet

Be­sty­rel­ses­for­mand i Carls­berg­fon­det, pro­fes­sor og dr.scient. Flem­m­ing Be­sen­ba­cher for­kla­rer via e-mail, at selv­om man i Carls­berg eva­lu­e­rer sin forsk­nings­støt­te, så til­la­der man sig en vis skep­sis over for forsk­nings­e­va­lu­e­ring i form af im­pact as­ses­sment net­op på grund fon­dens lang­sig­te­de perspektiv:

"Carls­berg­fon­det har be­vidst valgt ik­ke at fo­re­ta­ge en de­tal­je­ret 'im­pact as­ses­sment' på vo­res be­vil­lin­ger. Vi støt­ter iføl­ge vo­res fun­dats kun den frem­ra­gen­de grund­forsk­ning in­den for na­tur­vi­den­skab, hu­ma­ni­o­ra og sam­funds­vi­den­skab, som i sa­gens na­tur har en lang tids­ho­ri­sont, og im­pact af grund­forsk­ning kan ik­ke må­les med et en­kelt tal el­ler må­les in­den for ram­mer­ne af new pu­blic ma­na­ge­ment, som i dis­se år lig­ger et tungt åg på de dan­ske uni­ver­si­te­ter,” skri­ver Flem­m­ing Besenbacher.

Iføl­ge Be­sen­ba­cher grun­der Carls­berg­fon­dets be­vid­ste af­vis­ning af de­tal­je­ret im­pact as­sess­ment i fon­dens am­bi­tion om at støt­te grund­forsk­ning, hvor ro og for­dy­bel­se er nøgleord:

"I Carls­berg­fon­det er vo­res stra­te­gi, at det er ek­stremt vig­tigt at støt­te grund­forsk­ning ud fra en år­hund­re­delang er­fa­ring om, at vi­den­ska­be­li­ge ny­brud of­te kom­mer fra grund­forsk­ning, og at dis­se ny­brud ik­ke kan for­ud­si­ges. Vi støt­ter de bed­ste un­ge og æl­dre for­ske­re og gi­ver dem der­ef­ter ro til at for­dy­be sig,” skri­ver Flem­m­ing Besenbacher.

Og ik­ke ale­ne me­ner Flem­m­ing Be­sen­ba­cher, at de­tal­je­ret im­pact as­ses­sment of­te ram­mer for­bi for­må­let med grund­forsk­ning. Han vur­de­rer og­så, at man ved at be­nyt­te den form for eva­lu­e­ring fak­tisk kan væ­re med til at gø­re kva­li­tetskri­te­ri­er gæl­den­de, der kan hæm­me den fri forsk­nings udfoldelse:

"Hvis man for­sø­ger at læg­ge en nyt­te­tænk­ning ned over grund­forsk­nin­gen og be­gyn­der at må­le for­ske­re på an­tal­let af pu­bli­ka­tio­ner, ci­ta­tio­ner, pa­ten­ter, pro­duk­ter, startup-virk­som­he­­der, m.m., ska­ber man en si­tu­a­tion, hvor for­sker­ne lø­ber ef­ter at præ­ste­re på dis­se pa­ra­me­tre og ik­ke har grund til at ka­ste sig ud i no­get helt nyt og ri­si­ko­fyldt. Med an­dre ord: 'Du bli­ver, hvad du må­ler'. Husk nu på Ein­ste­ins klo­ge ord: ‘Det er ik­ke alt, der kan må­les, der skal må­les’, og hvis ik­ke det vig­tig­ste er må­l­bart, bli­ver det må­l­ba­re hur­tigt det vig­tig­ste,” skri­ver Flem­m­ing Besenbacher.

Tuborgfondet: Vi differentierer

Uden for grund­forsk­nin­gen er en del af Carls­berg­fon­dets al­men­nyt­ti­ge ak­ti­vi­te­ter sam­let i Tu­borg­fon­det. Hos Tu­borg­fon­det ud­de­ler man år­ligt cir­ka 30-35 mio. kr., men i 2017 når be­villingerne ek­stra­or­di­nært op på 66 mio. kr. Tu­borg­fon­det støt­ter ger­ne ildsjæ­le, der for­mår at styr­ke un­ges del­ta­gel­se og en­ga­ge­ment i sam­fun­det, og til bl.a. det for­mål har fon­den for­mu­le­ret en ny stra­te­gi, for­tæl­ler pro­gram- og sous­chef Nan­na Cal­li­sen Bang:

“Når vi har for­mu­le­ret ny stra­te­gi, så skal den selv­føl­ge­lig ud­mønte vo­res for­mål, men og­så i høj grad vo­res vær­di­er i Tu­borg­fon­det. Og net­op vær­di­er­ne ‘fæl­les­skab', ‘fri­vil­lig­hed' og ‘fol­ke­lig­hed' er me­get vig­ti­ge for os, og vi er op­ta­get af, at vo­res eva­lu­e­rings­prak­sis af­spej­ler vo­res vær­di­er. Og her me­ner jeg, at der lig­ger et vig­tigt valg for en fond: Hvil­ken ty­pe fond vil vi væ­re? Er vi op­ta­get af ek­sakt vi­den­skab og da­ta­drev­ne be­slut­nin­ger? Bru­ger vi ran­do­mi­se­rede kon­trol­for­søg, for­di vi le­der ef­ter va­li­de­re­de da­ta? El­ler er man som os op­ta­get af at væ­re fol­ke­lig og i øjen­høj­de og sær­ligt ar­bej­de med un­ge men­ne­sker. Her lig­ger nog­le valg, som smit­ter af på fon­dens eva­lu­e­rings­prak­sis,” si­ger Nan­na Cal­li­sen Bang.

Hvis jeg skal si­ge no­get over­ord­net, der dri­ver vo­res evalue­rings­praksis, så er det en er­kend­­el­se af at dem, der har ild i hjer­tet og kan få vig­ti­ge for­an­dring­er til at ske, er ik­ke nød­­ven­­dig­­vis dem, der er go­de til at evaluere

Nan­na Cal­li­sen Bang – pro­gram- og sous­chef, Tuborgfondet

Nan­na Cal­li­sen Bang me­ner ik­ke, at eva­lu­e­ring som red­skab i net­op Tu­borg­fon­dets stra­te­gi, der bl.a. byg­ger på fri­vil­li­ge og ildsjæ­le, kan fo­re­ta­ges med ud­gangs­punkt i en standardmetode:

“Hvis jeg skal si­ge no­get over­ord­net, der dri­ver vo­res eva­lu­e­rings­prak­sis, så er det en er­kend­el­se af at dem, der har ild i hjer­tet og kan få vig­ti­ge for­an­drin­ger til at ske, er ik­ke nød­ven­dig­vis dem, der er go­de til at eva­lu­e­re. Og der sy­nes jeg, at vi som fond vil­le be­gå en stor fejl­ta­gel­se, hvis vi ik­ke ba­lan­ce­re­de for­nuf­tigt i for­hold til, hvad vi stil­ler af krav el­ler har af for­vent­ning­er til eva­lu­e­ring. Selv­føl­ge­lig skal vi vi­de, hvad der kom­mer ud af vo­res pen­ge. Men der er ik­ke en one-size-fits-all ef­fek­t­må­ling, som vi rul­ler ud over al­le vo­res ak­ti­vi­te­ter,” si­ger Nan­na Cal­li­sen Bang.

Der­for har man i Tu­borg­fon­det ud­vik­let en ræk­ke eva­lu­e­rings­prin­cip­per, så det så vidt mu­ligt sik­res, at eva­lu­e­rin­gens me­to­de og om­fang pas­ser til den ty­pe ak­ti­vi­tet, som støt­tes. Do­na­tio­ner un­der 100.000 kr., do­na­tio­ner over 100.000, pi­lot- og ud­vik­lings­pro­jek­ter, part­ner­ska­ber og fon­dens eg­ne ini­ti­a­ti­ver føl­ges og eva­lu­e­res der­for for­skel­ligt, men med sam­me ud­gangs­punkt: eva­lu­e­rin­gen skal bru­ges til at un­der­støt­te fon­dens stra­te­gi, ud­de­lings­po­li­tik og værdier:

“Prin­cip­per­ne hand­ler om at ha­ve en dif­fe­ren­ti­e­ret til­gang til eva­lu­e­ring, at sik­re, at vo­res eva­lu­e­rings­me­to­de ska­ber vær­di og læ­ring til vo­res sam­ar­bejds­part­ne­re, og at ta­ge høj­de for, at vi be­væ­ger os in­den for det kom­plek­se so­ci­a­le og kul­tu­rel­le om­rå­de. Her er det en vig­tig rol­le for os at væ­re ri­si­ko­vil­li­ge og væ­re med til at prø­ve nye ting af. Men det skal ik­ke væ­re så­dan, at vi bru­ger en for stor del af vo­res mid­ler til eva­lu­e­ring. Vi vil jo ger­ne ha­ve pen­ge­ne ud at gø­re nyt­te hos de or­ga­ni­sa­tio­ner og for­e­nin­ger, som vi ger­ne vil støt­te. Og der­for vil vi væ­re re­a­li­sti­ske og om­kost­nings­be­vid­ste i for­hold til vo­res eva­lu­e­rings­til­gang,” si­ger Nan­na Cal­li­sen Bang.

Læs me­re om ud­bre­del­sen af eva­lu­e­ring blandt dan­ske fon­de her.

Vil du læse artiklen?

Med et abon­ne­ment får du fuld ad­gang til fun​dats​.dk.

Det ko­ster at pro­du­ce­re uaf­hæn­gig og dyb­de­bo­ren­de jour­na­li­stisk. Læs me­re om Fun­dats og se pri­ser­ne for at abon­ne­re her.

Abon­nér

Allerede abonnent? Log ind her:

Jobannoncespot_img
Jobannoncespot_img
Jobannoncespot_img

Skribent

Læs mere om

Kategorier:

Tags:

Læs også

Forsiden lige nu

Kommunikation

Serie: Gode Ramme for Gode Donationer