de Volkskrant - zaterdag 16 september 2006

TWIJFEL

Door Hans van Maanen

Eindelijk een online peiling die laat zien dat online peilingen niet deugen

Een van de meest spectaculaire missers van opiniepeilers was de voorspelling van de uitslag van de Amerikaanse presidentsverkiezing in 1948. Op grond van die voorspelling waren de kranten al gedrukt: ‘Dewey verslaat Truman’. De volgende dag kon Truman triomfantelijk die krant omhooghouden, want hij was degeen die een ruime overwinning had behaald.

De fout die de opiniepeilers hadden gemaakt, was dat ze slechts telefonische interviews hadden afgenomen en in 1948 waren mensen met een telefoon nog heel anders dan mensen zonder telefoon.

Soortgelijke blunders, die wat minder vaak de kranten halen, worden stellig gemaakt bij internet-enquêtes. Hoewel tegenwoordig vrij veel mensen internet hebben, hebben zij niet allemaal zin en tijd mee te doen aan ‘online-panelonderzoek’. En de mensen die meedoen, zitten wellicht anders in elkaar dan de mensen die niet meedoen.

De vraag is natuurlijk: hoe erg is dat? Kunnen we geen enkele internet-enquête van welk gerenommeerd bureau ook meer vertrouwen? Hoe belangrijk is representativiteit voor de uitkomsten van panelonderzoek? En wat valt eraan te verbeteren?

Afgelopen donderdag werden op een bijeenkomst in Utrecht de eerste resultaten bekendgemaakt van een onderzoek dat juist deze vragen wilde beantwoorden. Een drietal gedreven marktonderzoekers had de koppen bij elkaar gestoken, en 19 onderzoeksbureaus bereid gevonden mee te doen aan een groot experiment om de sterke en zwakke kanten van het internetonderzoek eens op een rij te zetten. Omdat ook de klanten van de onderzoeksbureaus in de zaal zaten werden de conclusies wat gedempt gebracht, maar verrassend waren ze zeker. Het idee dat internetonderzoek een representatief beeld van de Nederlander geeft, moeten we voorlopig maar laten varen.

In Nederland wordt uitzonderlijk veel gepaneld, waarschijnlijk het meest in de hele wereld. Als alle panelleden van alle bureaus worden opgeteld, houden meer dan 1,7 miljoen mensen zich beschikbaar voor onderzoek.

De eerste kanttekening is, dat dit niet 1,7 miljoen verschillende mensen zijn. Integendeel: mensen die aan één onderzoek meedoen, doen niet zelden aan twee of drie mee, en soms aan meer dan tien er zijn heel wat mensen die elke dag op het werk even een vragenlijstje doen. Uiteindelijk blijken er niet meer dan 600 duizend verschillende panelleden te zijn, maar dan nog vult een deel van hen trouw elke voorgelegde vragenlijst in, een ander deel doet maar heel zelden mee. De onderzoeksbureaus vissen allemaal in dezelfde, kleine vijver met makkelijk te vangen vissen.

En dan zijn het nog bijna allemaal goudvissen ook. Iemand die bereid is panellid te zijn, zo blijkt uit het onderzoek van Robert van Ossenbruggen, Ted Vonk en Pieter Willems,  is alleen al daardoor sterk voorgeselecteerd, en geeft andere antwoorden dan de rest van de bevolking. Zelfs mensen die routineus meedoen, geven al anders antwoord dan mensen die een enkele keer zijn overgehaald mee te doen. De goudvissen in de vijver geven antwoord, maar wat de snoeken en de stekelbaarsjes elders in het land vinden, blijft onduidelijk. ‘De representativiteitsassumptie komt serieus onder druk te staan,’ noemen de onderzoekers dat.

Het betekent ook, en dat is belangrijk voor klanten en krantenlezers, dat het niet zozeer de grootte of de samenstelling van de panels is die de kwaliteit van een onderzoeksbureau bepaalt, maar de mate waarin het zich de moeite heeft getroost naar die andere vissen te zoeken.

Want niet alle onderzoeksbureaus zijn even goed. Ze hebben allemaal meegedaan op basis van anonimiteit, waardoor het niet mogelijk is slechte en goede aan te wijzen, maar zeker is wel dat het er hier en daar nog flink aan schort. De bedoeling was dat elk bureau duizend mensen zou benaderen. Dat moest leiden tot een steekproef die een redelijke afspiegeling van de Nederlandse bevolking zouden moeten vormen op basis van persoonskenmerken, maar dat lukte niet iedereen. Zes van de negentien, om precies te zijn. ‘Steekproeven worden lang niet altijd optimaal aangestuurd,‘ zeggen de onderzoekers.

Daarnaast verschilde de medewerking per panel aanzienlijk. Twee bureaus haalden nog geen twintig procent respons, niemand kwam boven de tachtig. Nu zegt respons in internetonderzoek niet alles meer (er wordt vaak geworven tot er wel een redelijke afspiegeling van de bevolking bereikt is of men selecteert panelleden waarvan men weet dat ze altijd meewerken), maar 170 antwoorden op 1000 uitgezette vragenlijsten is hoe dan ook wel heel weinig.

De aanbeveling van de drie onderzoekers aan de afnemers van internet-enquêtes liet dan ook weinig aan duidelijkheid te wensen over: ‘Bezint eer ge begint.’ Om er direct aan toe te voegen dat de keuze voor het ene of het andere panel uiteindelijk weinig uitmaakt, omdat ze toch allemaal dezelfde respondenten hebben...