Å utfordre designprinsippet til spørreskjemaskalaer med blandet-formulerte elementer

Prosjektet fokuserer på designprinsippet å kombinere både positivt og negativt formulerte elementer i spørreskjemaskalaer (f.eks. «Jeg gjør det vanligvis bra i matematikk» og «Jeg er bare ikke god i matematikk»). Antakelsen er at blandet-formulerte skalaer har utilsiktede konsekvenser for datakvaliteten.

Bakgrunn 

Dette prosjektet tar for seg spørreskjemadesignprinsippet —å kombinere både positivt og negativt formulerte elementer i de samme, blandet-formulerte skalaene— for eksempel «Jeg gjør det vanligvis bra i matematikk» og «Jeg er bare ikke god i matematikk» i TIMSS’ (Trends in International Mathematics and Science Study) selvoppfatningsskala for matematikk.

Selv om hensikten med dette blandede formuleringsprinsippet er å holde respondentenes oppmerksomhet oppe og fremme bedre og mer valide resultater, argumenterer vi for at det kan ha utilsiktede konsekvenser.

Basert på tidligere arbeid (Steinmann et al., 2022a, 2022b) mener vi at noen respondenter kan misforstå den blandede spørsmålsformuleringen på grunn av manglende oppmerksomhet eller manglende lese-, språk- eller kognitive ferdigheter.

Disse respondentene kan da gi inkonsistente svar. Det vil si at de enten er enige eller uenige i både positivt og negativt formulerte spørsmål til tross for deres motsatte ordlyd.

Mål

Målet med dette prosjektet er å undersøke fenomenet inkonsistente respondenter ved hjelp av TIMSS 2019-data fra 4. og 8. trinn.

Spesifikt undersøker vi to forskningsspørsmål: Hvilke elever er mer tilbøyelige til å svare inkonsistent på spørreskjemaer med blandede formuleringer? Hvilke land har større andeler elever som svarer inkonsistent på spørreskjemaer med blandede formuleringer?

Vi tester hypotesene om at elever som er yngre, har lavere prestasjonsskårer og ikke (ofte) snakker testspråket hjemme, har større sannsynlighet for å svare inkonsistent på spørreskjemaer med blandede formuleringer.

På landnivå tester vi hypotesene om at det er større andeler inkonsistente respondenter på 4. trinn enn på 8. trinn, i land med lavere gjennomsnittlig prestasjonsnivå og med større andeler elever som ikke (ofte) snakker testspråket hjemme. 

Metode  

Studien tar opp problemet med at blandede formuleringer antageligvis kan føre til measurement noninvariance mellom grupper av elever og land, redusere den tverrkulturelle sammenlignbarheten og svekke dataenes validitet.

Studien stiller derfor spørsmål ved om skalaer med blandede formuleringer bør brukes i spørreskjemaer hvis målpopulasjonen omfatter respondenter som kan ha svake lese-, språk- eller kognitive ferdigheter.

Prosjektet er derfor av interesse for alle som utvikler og vurderer spørreskjemaer og bruker dem i empirisk arbeid.

International Association for the Evaluation of Educational Achievement (IEA).