Urval, svarsfrekvens och bortfall – så enkelt men uppenbarligen ändå så svårt

Jag blir mer och mer övertygad om att jag inte bara är kulturmarxist, utan dessutom statistiktaliban.
     Igår (fredag) publicerades en rapport från brittiska tankesmedjan Demos om Sverigedemokraternas anhängare i Sverige; vilka de är och vad de tycker. Och visst hade det varit oerhört intressant om rapporten verkligen hade sagt något om SD:s anhängare. Men det gör den inte. Även om till exempel den gröna och liberala tankesmedjan Fores, som presenterade rapporten vid ett seminarium igår, eller tidskriften Expo, som skriver om den under rubriken SD-sympatisörer kartlagda, hävdar att det är så.

Målet med statistiska undersökningar är att kunna generalisera resultaten till en större grupp; utifrån ett väl genomtänkt urval drar man slutsatser om den större populationen, säg populationen "svenskar" eller "dagstidningsläsare" eller – i det här fallet – sverigedemokrater. Men då gäller det att urvalet är slumpmässigt och representativt. 
     Demos urval är varken eller. Man har erbjudit medlemmarna i olika SD-anknutna Facebookgrupper att besvara enkäten. Bara 567 personer av 16 660 medlemmar i de här grupperna valde att svara. Det är med andra ord bara 3,4 procent som har besvarat enkäten – och bortfallet alltså 96,6 procent.
     Problem nummer ett är att enkäten distribuerats via sociala medier. Långt ifrån alla är aktiva i sociala medier. Ålder, tillgång till dator och internetuppkoppling, utbildning – det finns många faktorer som spelar roll. Expo skriver att "majoriteten (63 procent) av de sverigedemokratiska sympatisörerna på Facebook är män mellan 16–20 år". Just det: Unga män. Och det finns ingen anledning att tro att sverigedemokratiska unga män tycker och tänker som något annat än just sverigedemokratiska unga män.  
     Problem nummer två är att det är ett självrekryterat urval. 16 660 fick chansen att besvara enkäten, men bara 567 valde att göra det. Varför gjorde de det? Varför valde16 093 att inte besvara den?
     Problem nummer tre är det gigantiska bortfallet. Vad tycker och tänker de 16 093 som valde att inte svara? Det finns ingen som helst anledning att tro att de tycker lika som de 567 som svarade.

     Problem nummer fyra är att det saknas en bortfallsanalys (även om det känns konstigt att prata i vetenskapliga termer av bortfallsanalys när bortfallet är så gigantiskt). Men i princip kan man säga att en undersökning med mer normal svarsfrekvens är representativ om bortfallet inte är systematiskt, alltså om det visar sig att en övervägande del av de som valt att inte besvara enkäten är till exempel kvinnor, eller pensionärer, eller lågutbildade. Och för att veta det måste man göra en bortfallsanalys. Det gör inte Demos. 

   

Demos skriver själva i sin metodredovisning (rapporten som pdf):

The use of social network surveys is subject to a well-known technical and methodological critique focusing on the nature of self-entry interest classification on Facebook, the lack of content reliability on social networking sites, and the lack of internet access and usage in the broader population, all of which are capable of biasing the results of the survey. 

Therefore, we take care not to claim, at any point in the text, that our sample represents or reflects the official views of the group, or indeed of its offline membership.

Ändå behandlas undersökningen som vore den representativ, som om den säger något om Sverigedemokraternas anhängare som grupp. Det är den alltså inte. Varför ska det vara så svårt att göra rätt?

Svårt att begripa poängen? Tänk att du vill veta lite mer om skidåkare, och kommer på den lysande idén att dela ut en enkät vid vasaloppsstarten i Sälen första söndagen i mars – där kryllar ju av skidåkare. 15 800 stycken faktiskt. Men är gruppen vasaloppsåkare representativa för alla skidåkare, alla de som helst åker ensamma i skogen, eller alla som bara kör ett par kilometer per runda? Och vilka kommer att ha lust att svara på enkäten? Elitåkarna? Nej, de tänker nog på annat… Mest troligt är det att de som har tid och lust att svara är de som startar längst bak i kön och som ändå måste vänta ett tag innan de kommer iväg. Hur representativa är de? Hur är det med könsfördelningen i startfältet? Många kvinnor väljer ju Tjejvasan istället. Och så vidare.

Vill du veta mer om Sverigedemokraternas anhängare rekommenderar jag SOM-institutets senaste bok, Lycksalighetens ö. Alla kapitel kan laddas ner som pdf:er. SOM-undersökningarna utgår från en slumpmässigt urval och är statistiskt representativa, och därmed också generaliserbara.