Online panels goed bekeken

In dit artikel wordt gesproken over 600.000 unieke panelrespondenten. Tussen het schrijven van het artikel en de publicatie zijn we erachter gekomen dat de berekeningswijze van dit getal niet correct was. Er was geen rekening gehouden met de grotere kans van respondenten die in meerdere panels zitten om in de steekproef te komen. Daarnaast heeft een aantal panels de opgave over het aantal actieve panelleden herzien. Het correcte getal unieke respondenten is ca. 900.000. Daarvan zitten er ca. 700.000 in 1 panel en ca. 200.000 in meerdere panels. Die 200.000 vullen overigens wel 80% van alle vragenlijsten in.

Door Robert van Ossenbruggen ProCression - Ted Vonk Onderzoekpaleis - Pieter Willems Millward Brown

Respons van panels die varieert tussen 19% en 77%, panelleden die gemiddeld lid zijn van bijna 3 panels, panels die elkaar voor meer dan 40% overlappen, 600.000 unieke panelrespondenten, 25.000.000 online enquêtes per jaar: Nederland is hét online panelland in de wereld en voor het eerst in de geschiedenis van online onderzoek is deze Nederlandse panelmarkt uitvoerig in kaart gebracht. Niet minder dan 19 online panels, samen goed voor ruim 90% van al het panelonderzoek in Nederland, hebben meegewerkt aan een vergelijkingsonderzoek waarin de invloed van panelmanagement, de samenstelling van panels en eigenschappen van panelleden onder de loep zijn genomen. We speken over het Nederlands Online Panel Vergelijkingsonderzoek (NOPVO) 2006. Op 14 september zijn de eerste resultaten gepresenteerd tijdens een MOA bijeenkomst te Utrecht. Hieronder zetten we enkele bevindingen op een rij. Tussen nu en december 2006 zullen de resultaten uitvoerig in de media verschijnen. Via MOAweb.nl en Clou blijft u daarvan op de hoogte.

De markt voor online onderzoek is in Nederland bijzonder sterk gegroeid. Inmiddels wordt meer dan 50% van het opinie- en marktonderzoek via Internet uitgevoerd. Met die groei van online onderzoek is ook het aantal panels stek toegenomen. Inmiddels beschikken we in Nederland over meer dan 20 online access panels, goed voor in totaal – naar eigen opgave van de panels – meer dan 1,7 miljoen panelleden die beschikbaar zijn voor onderzoek. Nederland is, met dit aantal panels en omvang van de panelbase in verhouding tot de populatie, het grootste panelland in de wereld.

Met dit snelgroeiende aanbod van panels is ook de bezorgdheid toegenomen over de kwaliteit van panels. In welke mate leveren deze panels dezelfde resultaten? Is er sprake van substantiële paneloverlap en wat is de invloed daarvan? Wie melden zich aan bij panels en is deze groep voldoende vergelijkbaar met de Nederlandse populatie? Om een gefundeerd antwoord te vinden op deze vragen, is vorig jaar het project NOPVO opgestart.

NOPVO 2006 is een uniek onderzoek waaraan 19 panels die actief zijn in de Nederlandse markt hebben meegewerkt. Deze 19 panels vertegenwoordigen meer dan 90% van de respondenten die aan onderzoek meedoen. Het hoofddoel van het NOPVO was de verschillen tussen online panels op gestructureerde wijze in kaart te brengen. Met daarbij als kernvraag: in welke mate leidt een typisch marktonderzoek uitgevoerd door de verschillende online panels tot dezelfde uitkomsten en conclusies? Daarnaast zijn diverse andere aspecten van online panels onder de loep genomen. Kortom, de online panels zijn een keer goed bekeken. In het kader op deze pagina’s staat de onderzoeksopzet beschreven.

Er zijn aanzienlijk verschillen in respons. Deze varieert van 19% tot 77% (zie Figuur 1). Een hogere respons wordt onder andere verklaard door:

- De wijze waarop respondenten door het panel geworven zijn. Een actieve benadering van respondenten (telefonisch of via traditioneel onderzoek) levert de hoogste response.

Voorts was het opvallend dat enkele panels een substantieel gedeelte van de uitnodigingen verstuurd hebben naar panelleden die al meer dan een jaar niet meer gerespondeerd hebben. Sommige panels maken duidelijk niet gebruik van panelhistorische gegevens bij hun steekproefselectie.

Ook bij de verdeling van de steekproef zagen we dit gebrekkige steekproefbeleid bij sommige panels terug. De panels is gevraagd een bruto steekproef aan te leveren die uiteindelijk tot een zo goed mogelijke afspiegeling van de Nederlandse samenleving moest leiden (binnen het leeftijdsbereik 18 t/m 65 jaar). In tegenstelling tot wat er bij het dagelijkse veldwerk praktijk is, mocht er tijdens het veldwerk niet gequoteerd worden op kenmerken en mocht er geen reminder worden uitgestuurd. Op basis van interviewhistorie van de panelleden en responskengetallen van de diverse achtergrondkenmerken moet het mogelijk zijn een steekproef samen te stellen die als uiteindelijk resultaat nauwelijks afwijkingen vertoont van de zogenaamde Gouden Standaard (GS) verdeling. De werkelijkheid is echter anders: steekproeven worden lang niet altijd optimaal aangestuurd. Slechts zes panels slaagden erin een netto steekproef te realiseren die geringe afwijkingen vertoont ten opzichte van het ideaal beeld.

Afwijkingen van achtergrondkenmerken ten opzichte van de Gouden Standaard verdeling op de sociaal economische klasse zijn beperkt. Een regelmatig geuite vrees dat het merendeel van de panelleden studenten en werkelozen zouden zijn blijkt (gelukkig) niet te kloppen.

Tabel 1 laat zien dat bijna tweederde (62%) van de responderende panelleden lid is van meer dan één panel. Ongeveer 3% is lid van meer dan 10 verschillende panels. Gemiddeld is men lid van 2,7 panels. Er zijn zelfs respondenten die lid zijn van meer dan 20 panels. Er zijn panels die elkaar voor meer dan 40% overlappen. De vraag is in hoeverre een weloverwogen uitnodigingsbeleid dan nog zin heeft bij deze mate van overlap. De zorg die aan respondenten wordt besteed, wordt doorkruist door de activiteiten van andere panels!

Op basis van de opgave van de deelnemende panels aan het NOPVO zijn er zo’n 1.350.000 panelleden. In het overzicht ontbreken een paar commerciële panels die naar schatting goed zijn voor nog eens 150.000 panelleden. Naast de panels van marktonderzoekbureaus zijn er nog diverse panels van omroepverenigingen, universiteiten en hogescholen, vakbonden en klantenpanels van bedrijven. Ook die zijn goed voor ca. 150.000 leden. Bij elkaar gaat het dus om 1.650.000 respondenten. Het aantal unieke panelleden is echter beduidend lager.

Gerelateerd aan het gemiddelde van 2.73 lidmaatschappen houdt dat in dat er ca. 600.000 unieke panelleden zijn. Op een populatie van 10,5 miljoen volwassenen is dit een aandeel van minder dan 6%. Zouden deze mensen in gelijke mate vragenlijsten invullen, dan valt het percentage nog wel mee. Echter in het licht van het feit dat een klein gedeelte van hen een relatief groot deel van de vragenlijsten beantwoord, komt de representativiteitsassumptie serieus onder druk te staan.

De panelleden die wel aan onderzoek meedoen, doen dit in bijzondere intensieve mate. Additioneel rekenwerk op variabelen zoals aantallen uitnodigingen, aantallen ingevulde vragenlijsten, paneloverlap en panelomvang leidt tot een schatting van het jaarlijks via online panels aantal ingevulde vragenlijsten van ca. 25.000.000 in Nederland. Gemiddeld vullen panelleden één keer per week een vragenlijst in. Echter een groot deel van de vragenlijsten wordt ingevuld door respondenten die elke werkdag aan marktonderzoek meedoen.

Figuur 2 laat zie dat er aanzienlijke verschillen in de uitkomsten voorkomen. Overigens moet wel vermeld worden dat zelfs bij identieke omstandigheden enige fluctuatie ten gevolge van steekproeftrekking te verwachten valt. Verschillen zijn aanzienlijk kleiner wanneer de panels met het hoogste en laagste percentage op een bepaald resultaat worden verwijderd. Door de extremen te beschouwen als ‘uitbijter’ ontstaat een realistischer beeld van de werkelijke bandbreedte in de markt. Ondanks dat een aantal panels sterk overeenkomstige resultaten opleveren, kan de conclusie getrokken worden dat het overstappen naar een ander panel een grote kans op trendbreuken geeft en derhalve sterk af te raden valt.

Ten tijde van het schrijven van deze bijdrage waren we nog druk bezig met het analyseren van de data. De resultaten zijn veel omvangrijker en substantiëler dan we dachten. Vanaf oktober zullen thema gewijs de resultaten in de media gepubliceerd worden. De thema’s betreffen onder andere: effecten van panelmanagement, respons- en leereffecten en typologie van panelleden. Het is in ieder geval nu al duidelijk dat we met een situatie te maken hebben waarin de representativiteit van marktonderzoeksgegevens uit online panelonderzoek onder druk staat. Zolang het om relatieve veranderingen van merk- of reclamebekendheid gaat en continue van hetzelfde panel gebruik wordt gemaakt, zullen er niet zo snel misleidende conclusies worden getrokken. Maar een uitspraak doen over absolute cijfers in de populatie of doelgroep, vraagt om andere afwegingen dan tot nu toe vaak gemaakt worden. De komende tijd kunt u hiervoor meer concrete input van ons verwachten.

Opzet NOPVO

Het NOPVO is een vergelijkingsstudie met als belangrijkste doel de online panelmarkt in Nederland in kaart te brengen. Het onderzoek bestaat uit twee delen. Het eerste deel is een inventarisatie van de kenmerken van panels zoals die in de markt worden gecommuniceerd. De zogenaamde ’25 vragen van ESOMAR’ vormden hiervan het uitgangspunt. De resultaten zijn in deze CLOU in gecomprimeerde vorm terug te vinden. Het complete overzicht is binnenkort te vinden op www.moaweb.nl. Het tweede deel van de studie is een empirisch onderzoek, waarbij alle deelnemende panels dezelfde vragenlijst afnemen. De doelpopulatie heeft de volgende omschrijving: 'De Nederlandse consument tussen de 18 en 65 jaar’. Elk panel heeft zijn eigen bruto steekproef samengesteld met als doel een zo representatief mogelijke netto steekproef te realiseren zonder te quoteren tijdens het veldwerk. Er werden verder geen eisen gesteld aan de verdeling van achtergrondkenmerken in de bruto steekproef. Hoe de representativiteit van deze steekproef gegarandeerd wordt was dus aan de panels zelf. Panels hebben uitgemaild naar een bruto steekproef van 1000 panelleden. De resultaten van het empirische deel worden geanonimiseerd gerapporteerd.

Maaike Vonk heeft als projectmanager gefungeerd. Zij heet de contacten met de panels onderhouden en voor de verwerking van de data gezorgd.

NEBU heeft als onafhankelijke partij de vragenlijst geheel kosteloos gescript volgens de huidige standaarden voor online dataverzameling. Elk panel heeft een opmaakdefinitie aangeleverd zodat de vragenlijst er voor de panelleden precies zo uitziet als zij gewend zijn. Het veldwerk verliep in een afgebakende periode van 7 dagen (27 april tot en met 4 mei). Er zijn geen eisen gesteld aan het aantal te leveren ingevulde vragenlijsten. De gerealiseerde netto steekproef is dus een resultante van het onderzoek. De netto steekproef is uiteindelijk gewogen op basis van leeftijd, opleiding, geslacht en Nielsenregio, naar landelijke cijfers volgens de Gouden Standaard. De resultaten van dit onderzoek zijn 14 september gepresenteerd op de MOA themamiddag ‘Online panels, goed bekeken! Voor vragen en reacties over dit project kunt u mailen naar NOPVO@moaweb.nl