Sådan anvendes effektviden i REFUD

REFUD anvender en algoritme, der vægter effektstørrelser fra vidensdatabasen sammen på baggrund af studiernes kontekst og kvalitet. Nedenfor kan du læse mere om algoritmen. 

Hvilke studieresultater indgår i algoritmen?

Det er ikke al information i vidensdatabasen, der anvendes til en modelberegning i REFUD. For at et forskningsstudies resultat i vidensdatabasen kan indgå i algoritmen, skal det leve op til nedenstående kriterier:

1. Det skal være muligt at omregne til en standardiseret effektstørrelse.
2. Uddannelsesinvesteringen i studiet skal helt eller delvist matche den valgte uddannelsesinvestering i REFUD.
3. Effektmålet skal helt eller delvist matche de valgte effektmåle i REFUD.
4. Målgruppen skal helt eller delvist matche de valgte målgrupper (klassetrin) i REFUD.

Algoritmens indhold opdateres løbende i takt med, at vidensdatabasen opdateres med ny viden om effekterne af de investeringer, REFUD omfatter. 

Vægte

For en konkret investering sammenvægter algoritmen effektstørrelser i vidensdatabasen for separat på tværs af effektmål og klassetrin. Dette gøres for alle de effektstørrelser, der helt eller delvist matcher din valgte modelberegning. For hvert effektmål og klassetrin medtages der op til én effektstørrelse fra hvert studie. Du kan læse mere om udvælgelsen af studier og effektstørrelser her.

Effektstørrelserne vægtes, således at resultater fra studier af lavere kvalitet eller fra en mindre relevant kontekst vægtes lavere end resultater af højere kvalitet og en mere relevant kontekst. Vægtningen foregår ud fra følgende kriterier, som er udvalgt af VIVE.

Kvalitet	Kontekst	Sammenlignelighed	Klassetrin
Udgivelsesniveau	Geografisk område	Investeringsvariant	Afstand til klassetrin
Metode	Tidspunkt for investering	Effektmål
Datagrundlag	Population repræsentativ	Tidshorisont

Læs mere om vægtning af studieresultater her.

Relevansindikator

Hver effektstørrelse gives en samlet relevansindikator ($R^i_x$), som udregnes på baggrund af vægtene. Relevansindikatoren kan være mellem 0 og 1, hvor 1 opnås ved maksimal forskningsmæssig kvalitet og den mest sammenlignelige kontekst. Det svarer eksempelvis til et resultat fra et nyt dansk højkvalitetsstudie, baseret på et lodtrækningsforsøg og udgivet i et af de højest rangerede videnskabelige tidsskrifter.

Relevansindikatoren ($R^i_x$) beskriver den relative værdi, et studieresultat tillægges i beregningen af den sammenvægtede effektstørrelse jf. følgende formel:

$R^i_x = \textbf{V}_{\text{kvalitet}}^{i,x} \times \textbf{V}_{\text{kontekst}}^{i,x} \times \textbf{V}_{\text{sammenlignelighed}}^{i,x} \times \textbf{V}_{\text{klassetrin}}^{i,x}$

Hvor $x$ er en kombination af investering, effektmål og klassetrin, $i$ er et specifikt studie, og hvor:

$\textbf{V}_{\text{kvalitet}}^{i,x} = \textbf{v}_{\text{udgivelsesniveau}}^{i,x} \times \textbf{v}_{\text{metode}}^{i,x} \times \textbf{v}_{\text{datagrundlag}}^{i,x}$

$\textbf{V}_{\text{kontekst}}^{i,x} = \textbf{v}_{\text{geografisk område}}^{i,x} \times \textbf{v}_{\text{tidspunkt for investering}}^{i,x} \times \textbf{v}_{\text{population repræsentativ}}^{i,x} $

$\textbf{V}_{\text{sammenlignelighed}}^{i,x} = \textbf{v}_{\text{investeringsvariant}}^{i,x} \times \textbf{v}_{\text{effektmål}}^{i,x} \times \textbf{v}_{\text{tidshorisont}}^{i,x}$

$\textbf{V}_{\text{klassetrin}}^{i,x} = \textbf{v}_{\text{klassetrin}}^{i,x}$

Vidensindikator

Resultaternes relevansindikator aggregeres til en samlet vidensindikator ($\bar{R}_x$). Vidensindikatoren er et mål for den samlede mængde og kvalitet af den eksisterende viden om effekten af en konkret investering på et konkret effektmål for et konkret klassetrin. 

$$\bar{R}_x = \sum_{i=1}^N R^i_x$$

Samstemmighed

Samstemmigheden ($N_x$) måler, hvor samstemmig eller modstridende, den eksisterende viden er, når det kommer til effekterne af en konkret uddannelsesinvestering. Specifikt måles samstemmighed i effektstørrelserne ved at angive den største andel af den samlede mængde effektstørrelser, der har samme fortegn (positiv effekt, negativ effekt eller ingen/insignifikant effekt). Samstemmighedsmålet udregnes som følger:

$$N_x = \frac{\max(\bar{R}_x^P, \bar{R}_x^0, \bar{R}_x^N)}{\bar{R}_x}$$

Hvor $\bar{R}_x^P$ angiver summen af relevant evidens for en positiv effekt, $\bar{R}_x^0$ for ingen effekt og $\bar{R}_x^N$ for en negativ effekt. For disse tre mængder gælder det, at:

$$\bar{R}_x^j = \sum_{i = 1}^{N} R^i \times I_x^i \times I_j^i$$

Hvor $j \in \{ \textbf{P}$ostitiv effektstørrelse, $\textbf{0}$ eller insignifikant effektstørrelse, $\textbf{N}$egativ effektstørrelse}, og hvor $I_x^i$ og $I_j^i$ er indikatorfunktioner, der indekserer en given effekts fortegn og kontekst.

Vidensgrundlag

Ud fra værdierne på vidensindikatoren og samstemmighed vurderes det samlede vidensgrundlag af en konkret investering separat på hvert effektmål og klassetrin i forhold til nedenstående tærskelværdier, som er fastsat af VIVE. Det overordnede vidensgrundlag for uddannelsesinvesteringen er lig med det gennemsnitlige vidensgrundlag på tværs af effektmål og klassetrin.

Stærk viden:

Hvis $\bar{R}_x \geq 2\text{,}75 $ og $N_x \geq 0\text{,}65 $

Stærk viden forudsætter, at der blandt effektstudier af høj forskningsmæssig kvalitet vil være en vidensmængde svarende til tre eller flere effektstudier med høj kvalitet, der peger i samme retning. Der kan altså godt være effektstudier, der peger i en anden retning, men der skal være en overvægt at effektstudier, der peger i den samme retning. Denne retning kan både indikere, at der er en positiv, en negativ eller ingen effekt af en given uddannelsesinvestering.

Moderat viden:

Hvis $(\bar{R}_x > 1\text{,}75 $ og $N_x \in [0\text{,}6;0\text{,}65[)$ eller $(\bar{R}_x \in [1\text{,}75;2\text{,}75[ $ og $N_x \geq 0\text{,}65)$

Moderat viden forudsætter, at der blandt effektstudier af høj forskningsmæssig kvalitet vil være en vidensmængde svarende til to effektstudier med høj kvalitet, der peger i samme retning. Der kan altså godt være effektstudier, der peger i en anden retning, men der skal være en overvægt at effektstudier, der peger i den samme retning. Denne retning kan både indikere, at der er en positiv, en negativ eller ingen effekt af en given uddannelsesinvestering.

Indikation:

Hvis $\bar{R}_x \in [0\text{,}75;1\text{,}75[ $ og $N_x \geq 0\text{,}6 $

Indikation forudsætter, at der blandt effektstudier af høj kvalitet er en vidensmængde svarende til ét effektstudie, som viser en effekt af en given investering. Alternativt skal der være flere effektstudier af begrænset kvalitet, der peger i samme retning.

Usikker viden:

Hvis $\bar{R}_x < 0\text{,}75 $ eller $N_x < 0\text{,}6 $

Usikker viden betyder, at studiernes resultater enten går i forskellige retninger, at der kun er få studier af begrænset kvalitet på området eller slet ingen studier.

Ikke beregnet:

Vidensgrundlaget er ikke beregnet for investeringer, der ikke kan laves budgetøkonomiske beregninger på.

Sammenvægtet effektstørrelse

Studiernes effektstørrelser omregnes til modelrelevante standardiserede helårseffekter. Effektstørrelser, der er insignifikante på et fem procents signifikansniveau registreres med en effektstørrelse på nul. Den vægtede effektstørrelse for en konkret investering på et konkret effektmål for et konkret klassetrin er givet ved:

$$\bar{\beta}_x=\frac{\sum_{i=1}^N \beta^i_x \times R^i_x}{\bar{R}_x}$$

Hvor $\beta^i_x$ er effektstørrelserne fra studierne. For visse studier er der ikke rapporteret kontekstuelle effektstørrelser. Dette gælder eksempelvis, hvis effektstørrelserne ikke er opgjort separat for klassetrin. I disse tilfælde er $\beta^i_x = \beta^i$.