Vægtning af studieresultater

Relevansindikatoren opbygges af ’straf’-vægte, der for hver subfaktor, som fx geografisk område, giver vægten 1 til danske studier og en mindre vægt til andre studier med mindre modelrelevans. For at gøre dette muligt er det nødvendig at omsætte hver subfaktorklassificering til numeriske vægte mellem 0 og 1. Følgende vægte anvendes:

• Et studieresultat, der opfylder kriteriet til fulde får vægten 1.
• Et studieresultat, der kun opfylder minimumskriteriet får vægten 0,5.
• Et studieresultat, der opfylder mere end minimumskriteriet men ikke kriteriet til fulde, får vægten baseret på en konkav aftagende funktion mellem maksimum (1) og minimum (0,5). 

Kvalitet

Udgivelsesniveau

Studier vægtes på baggrund af Den Bibliometriske Forskningsindikator (BFI). Kategorien ”Andet” betegner alle studier, der ikke er udgivet i et videnskabeligt tidsskrift.

BFI 3	1
BFI 2	0,9
BFI 1	0,75
Andet	0,5

 

Metode

Studier vægtes i forhold til den anvendte analysemetode ud fra nedenstående skala. "Kvasi-eksperimentelt” betegner studier, der benytter eksogen variation til at identificere en effekt, men hvor den eksogene variation ikke er forårsaget af et lodtrækningsforsøg.

Lodtrækningsforsøg	1
Kvasi-eksperimentelt (RDD, IV mv.)	0,9
Paneldatamodel	0,75
Andet (regressionsanalyse, matching mv.)	0,5

 

Datagrundlag

Studier vægtes ud fra størrelsen på indsatsgruppen ud fra nedenstående skala:

Indsatsgruppe større end 100 personer	1
Indsatsgruppe mindre end 100 personer	0,5

 

Kontekst

Geografi

Studier vægtes på baggrund af, i hvor høj grad børne- og undervisningsområdet er sammenligneligt med en dansk kontekst. Nordiske lande betegner her Finland, Island, Norge og Sverige samt de tre selvstyrende områder Grønland, Færøerne og Åland.

Danmark	1
Norge, Sverige, Finland, Island	0,82
Andre lande	0,5

 

Tidspunkt for indsats

Studier vægtes på baggrund af om indsatsen er gennemført i nyere tid, hhv. før eller efter 1990:

Fra 1990 og frem	1
Før 1990	0,5

 

Population repræsentativ

Studier vægtes på baggrund af hvorvidt målgruppen for indsatsen i høj grad er repræsentativ i forhold til den samlede population eller ej. Et eksempel på en målgruppe, der klassificeres som ”population ikke repræsentativ” er indsatser målrettet udsatte børn og unge.

Population repræsentativ	1
Population ikke repræsentativ	0,5

 

Sammenlignelighed

Indsatsvariant

Studier vægtes på baggrund af sammenligneligheden med den valgte indsatsvariant (fx to læreruddannede i klassen) ud fra nedenstående skala. For at en indsats vurderes til ”Samme som indsatsvariant” er det dermed ikke et krav, at det er den præcis samme indsats, men alene at det virksomme element vurderes af forfatterne til at være det samme som indsatsvarianten i modellen. Indsatsens varighed og kontekst indgår ikke i vurderingen af indsatsens sammenlignelighed.

Samme som indsatsvariant	1
Høj grad af overlap med indsatsvariant	0,82
Nogen grad af overlap med indsatsvariant	0,5

 

Effektmål

Studier vægtes på baggrund af sammenligneligheden med det valgte modeleffektmål ud fra nedenstående skala. 

Samme som modeleffektmål	1
Høj grad af overlap med modeleffektmål	0,82
Nogen grad af overlap med modeleffektmål	0,5

 

Tidshorisont

Studier vægtes på baggrund af hvor lang tid efter effektmålet måles efter indsatsen.

Effektmål målt op til og med et år efter indsatsen	1
Effektmålet målt 1-2 år efter indsatsen	0,82
Effektmålet målt senere end 2 år efter indsatsen	0,5

 

Klassetrin

Det er ikke et krav, at et studie er beregnet på det eksakte klassetrin, hvor estimatet skal anvendes. Der trækkes således viden på tværs af klassetrin sådan, at et studie, der beregner en effekt på 5. klasse, også kan indgå i beregningen af det vægtede estimat for eksempelvis 7. klasse. Afstanden mellem det relevante klassetrin og studiets klassetrin indgår i vægtningen. Specifikt indgår klassetrin som en selvstændig subfaktor i vægtningsberegningen med følgende vægt:

$$Klassetrinsafstand = \frac{1}{0\text{,}25*|x-kl|+1}$$

Hvor $x$ betegner det relevante klassetrin, og $kl$ betegner studiets klassetrin.

 

Samme klassetrin	1
Afstand på 1 klassetrin	0,8
Afstand på 2 klassetrin	0,67
Afstand på 3 klassetrin	0,57
Afstand på 4 klassetrin	0,50
Afstand på 5 klassetrin	0,44
Afstand på 6 klassetrin	0,40
Afstand på 7 klassetrin	0,36
Afstand på 8 klassetrin	0,33
Afstand på 9 klassetrin	0,31