Om felmarginaler och osäkerhet i undersökningar

Felmarginalen är ett mått som redovisar den osäkerhet som uppstår då man gör ett sannolikhetsurval från en population och undersöker urvalet istället för hela populationen. Felmarginalen är den maximala förväntade skillnaden mellan det sanna värdet och urvalets skattning av detta. Säg att skattningen av sympatierna för ett visst parti är 18 % i ett urval om 1000 personer. Det ger en felmarginal på +/- 2,5 %. Felmarginalen kompletteras med något slags sannolikhetsutlåtande, en konfidensnivå. Ofta är denna nivå satt till 95%. Det betyder att om undersökningen upprepades många gånger skulle felmarginalen skriven som ett konfidensintervall 18% +/- 2,5 % innehålla det sanna värdet i 95 % av fallen. Felmarginalen blir mindre ju större urvalet är. Felmarginalen tar dock endast hänsyn till den osäkerhet som uppstår på grund av att ett urval undersökts istället för hela populationen. Den verkliga osäkerheten är mycket större, ofta dubbelt så stor, på grund av andra fel som bortfall, intervjuarpåverkan och mätfel. De allra flesta undersökningsföretag inklusive statliga myndigheter bortser från en eller flera av dessa andra felkällor med resultat att osäkerheten underskattas. Att man initialt utgår från ett sannolikhetsurval räcker inte som kvalitetsmärkning av en undersökning.

Vi på Inizio baserar våra undersökningar genomförda inom ramen för Schibsted/Inizios opinionspanel på en självrekryterad panel och vi följer riktlinjerna i ISO-standarden 26362 som gäller s.k. accesspaneler. Standarden föreskriver bl.a. att det inte är möjligt att redovisa osäkerhetsmått som en felmarginal. Vi kan heller inte redovisa bortfall på konventionellt sätt utan använder oss av begreppet deltagandegrad. Standarden talar också om hur man underhåller denna typ av paneler. Självrekryterade paneler är ett slags icke-sannolikhetsurval. Om man använder sådana måste man arbeta för att få så bra representation som möjligt genom att tillämpa vägningsförfaranden. Vi arbetar dessutom med att identifiera mätfelsmönster som inte verkar vara seriösa och personer som försöker svara flera gånger på samma undersökning.

Undersökningslandskapet håller på att förändras. Traditionella metoder baserade på sannolikhetsurval håller på att ersättas eller kompletteras av andra baserade på icke-sannolikhetsurval eller kombinationer av dessa. Dessutom har nya datakällor tillkommit, t.ex. data från sociala media och Big data. Vi ser redan undersökningar som utnyttjar skannerdata, sensordata, Twitter och Facebook, de båda första till och med i officiell statistik. Denna utveckling är en följd av svårigheterna att genomföra sannolikhetsurval. Bortfallet ökar dramatiskt i många undersökningar och ett av de grundläggande kraven på sannolikhetsurval, nämligen att varje enhet i populationen ska ha en känd sannolikhet större än noll att komma med i urvalet, är sällan uppfyllt på ett tillfredsställande sätt. Dessutom spelar faktorer som kostnader och snabbhet allt större roll. Studier där resultaten från undersökningar baserade på sannolikhetsurval och andra urval visar fortfarande på ett visst övertag för de förra men det beror också på hur mycket arbete som läggs ner på att skapa representativa paneler. Där lägger vi ned mycket arbete. Det förändrade landskapet har bara under de senaste fem åren resulterat i en mycket aktiv internationell utveckling av kombinationer av datakällor och utnyttjande av icke-sannolikhetsurval.

Vi redovisar alltså bara s.k. punktskattningar i våra undersökningar. Så gör man ofta även i undersökningar som använder sannolikhetsurval, speciellt i väljarundersökningar där rangordningen mellan partier och partiledare har stort allmänintresse.

Organisationen AAPOR har publicerat en skrift om felmarginaler i urval som inte baseras på obundet slumpmässiga urval, så kallade OSU, som du kan läsa här: AAPOR_Guidance_Nonprob_Precision_042216

Vasagatan 15-17

111 20 Stockholm

Kungsportsplatsen 1

411 10 Göteborg

Inizio Sverige AB

2018