Två nya noter med surveyforskning
I två nya metodnoter i SOM-institutets rapportserie ”The SOM Institute’s Notes on Survey Methodology” presenterar den första noten en studie om hur längden på SOM-undersökningen påverkar svarsfrekvens, snedvridning i bortfallet, och datakvalitet. Den andra noten fokuserar istället på hur valet av svarsalternativ påverkar datakvalitet och hur lång tid det tar att svara på en fråga.
Påverkade antalet enkätsidor antalet svar?
Årets första metodnot är författad av Frida Sandelin som analyserade ett experiment där antalet frågesidor av SOM-undersökningen varierats mellan 9 och 12. Studien skickades ut till ett slumpmässigt urval av boende i Göteborg. Sandelin fann stöd för hypotesen att en längre enkät ledde till färre svar. Av de som fick enkäten med 9 papperssidor skickade 48,6 % in enkäten medan 45,9 % av de som fick 12 papperssidor skickade in sin enkät (se figur 1).
Figur 1. Svarsfrekvens i gruppen som fick enkät med 9 respektive 12 enkätsidor
Samtidigt var yngre än 30 år gamla och äldre än 50 år gamla mindre sannolika att skicka in enkäten om den var längre jämfört med de som var mellan 30 och 49 år. Även personer som bodde i andra områden än centrala delen av Göteborg var mindre sannolika att skicka in enkäten om den var längre. Med andra ord, den längre enkäten gjorde att färre folk i allmänhet skickade in den och skillnaden mellan vilka grupper som svarade ökade något med en längre enkät. Däremot påverkades inte kvaliteten på svaren av den längre enkäten.
Metodnoten finns att läsa här:
The effects of questionnaire length on response rate, non-response bias, and data quality (Sandelin, 2022)
Ord istället för siffror på svarsalternativen ökade datakvalitet
Årets andra metodnot är författad av Sebastian Lundmark som analyserar två experiment där antalet svarsalternativ och hur många av svarsalternativen som har ord på svarsalternativen istället för siffror varierades. Lundmark fann genom de två experimenten stöd för hypotesen att ord på etiketterna istället för siffror gjorde att respondenterna gav mer rättvisande svar än om svarsalternativen endast hade ord på det första och sista svarsalternativen och siffror där emellan. Den positiva effekten av att sätta ord på svarsalternativen var i experimentet särskilt stark om man hade fem svarsalternativ snarare än sju eller nio (se figur 2).
Figur 2. Mätfel över tio kriterievariabler
Note. Bars represent the trace of the covariance matrix of the residuals from a seemingly unrelated regression where the averaged index of the four satisfaction items predicts the ten different criterion variables. A lower trace represents less measurement error across the ten items, and a higher trace represents greater measurement error. p-values were extracted from z-tests assessing whether the trace of the covariance matrix of the residuals for the specific question format was statistically significantly greater than the trace of the covariance matrix of the residuals of the version with five fully verbally labeled response options.
+ p < 0.1, * p < 0.05
Men att sätta ord på varje svarsalternativ ökade också tiden det tog för respondenterna att svara på frågan. Men, det som vanns i tid verkade förloras i datakvalitet.
Metodnoten finns att läsa här:
Verbal labels and the number of response options in grid-type questions (Lundmark, 2022)
SOM-institutet önskar er en trevlig läsning!
