Tijdschrift voor Marketing (TvM) - november 2006

"Onlinepanelonderzoek: snel, goedkoop en waardeloos?"

Door Robert van Ossenbruggen, Pieter Willems, Ted Vonk

Van ‘de Nederlandse marketeers’ heeft 64% grote behoefte aan onorthodox, creatief, inventief en intuïtief onderzoek stond in de vorige editie van Tijdschrift voor Marketing. En uit recent onderzoek van Experian blijkt dat maar liefst 95 procent van ‘de Nederlanders’ tevreden is met zijn of haar leven. En oh ja, van Men’s Health hebben we geleerd dat het voorspel van ‘de Nederlandse man’ gemiddeld 16,34 minuten duurt. Dagelijks zien we dit soort cijfers in tijdschriften en op TV. We horen echter zelden dat deze cijfers gebaseerd zijn op een specifieke informatiebron.

Onderzoek naar onderzoek

Meer dan 50% van het vragenlijstonderzoek in Nederland wordt tegenwoordig uitgevoerd middels online access panels: grote databases van personen die bereid zijn om met enige regelmaat vragenlijsten in te vullen. Deze ontwikkeling is heel snel verlopen, als je nagaat dat nog geen 10 jaar geleden Internet voor bijna iedereen een onbekend fenomeen was. Begon enkele jaren terug nog sceptici over de generaliseerbaarheid van enquêtegegevens die zijn verkregen via Internet, nu zien we een bijna blinde acceptatie van deze zeer snelle en kostenefficiënte manier om data te verzamelen. Ondertussen is de concurrentie tussen panelaanbieders enorm, staan de prijzen onder druk en zijn er onvoldoende richtlijnen over hoe je een online panel runt, met als gevolg een toenemende bezorgdheid over de kwaliteit van online panels. Om te inventariseren in hoeverre deze bezorgdheid ook terecht is, is recentelijk een uniek onderzoek uitgevoerd: het Nederlandse Online Panel Vergelijkings Onderzoek (NOPVO). Maar liefst 19 online panels hebben meegedaan aan een experiment waarbij deelnemers uit elk van deze panels gevraagd werd een gestandaardiseerde vragenlijst in te vullen. Deze 19 panels vertegenwoordigen samen meer dan 90% van de Nederlandse online panelmarkt. Dit is een unicum omdat op deze manier de kwaliteit van vrijwel het gehele online panelaanbod in kaart gebracht kon worden.

Om panels zo goed mogelijk met elkaar te vergelijken is één vragenlijst samengesteld, met typische marktonderzoek- en opinie vragen zoals bijvoorbeeld de spontane en geholpen merk- en reclame bekendheid, politieke voorkeur, levensstijl etc. Uit elk panel is aan 1000 mensen gevraagd om deze vragenlijst in te vullen. De panels hebben hun best gedaan om deze steekproef zo representatief mogelijk samen te stellen. De mate waarin panelleden aan de oproep tot deelname gevolg hebben gegeven, zou al direct een betekenisvolle uitkomst van het onderzoek zijn.

Het NOPVO-onderzoek heeft een bijzonder goed beeld gegeven van wie er wel en niet achter de cijfers zitten, en waar marketeers hun beslissingen vandaag de dag op baseren.

Select gezelschap

De meeste panels waren redelijk goed in staat om de bruto steekproef van 1000 mensen zodanig samen te stellen dat er, na uitval als gevolg van non-respons, een evenwichtige netto steekproef overbleef in termen van algemene, sociaal-demografische achtergrondkenmerken. Met zaken als leeftijd, geslacht, opleiding en regio zat het qua verdeling dus wel goed. Ook kunnen we op basis van dit onderzoek de hardnekkige gedachte dat er in zoveel ‘werklozen, huisvrouwen en studenten’ aan panelonderzoek meedoen onderuit halen. We constateren echter ook enige hiaten. Zo zien we binnen de panels bijvoorbeeld een consequent overschot aan heavy users van Internet, SP-stemmers en autochtonen, om maar eens een paar afwijkingen te noemen.

De 65-plus categorie is op voorhand al buiten het onderzoek gelaten omdat de meeste panels moeite hebben om genoeg respondenten in deze groep te werven. Nu kan er voor een ondervertegenwoordiging van individuele kenmerken zoals politieke voorkeur nog wel gecompenseerd worden in marktonderzoek, maar als er bepaalde doelgroepen wezenlijk zijn ondervertegenwoordigd wordt het lastig. Een voorbeeld van zo’n ondervertegenwoordigde doelgroep is de groep niet-westerse allochtonen. In de NOPVO studie maakt deze groep nog geen 1% uit van de steekproef terwijl dit volgens CBS cijfers 9% behoord te zijn. In de grote steden behoort meer dan 30% tot deze groep maar in het NOPVO vinden we daar maar 2%. Hierbij moeten we echter wel benadrukken dat dit bij traditionele vormen van onderzoek een minstens zo lastige groep is om te bereiken. We hebben bij online panelonderzoek echter een groot voordeel: we maken gebruik van databases waarin een heleboel achtergrondgegevens en responsgedrag van de panelleden staan geregistreerd.

Dit betekent dat er juist bij panelonderzoek de technische mogelijkheid bestaat om gedetailleerd inzicht te krijgen welke groepen juist zo lastig in de steekproef te krijgen zijn. Concreet leidt dit tot kansen om deze ‘lastige’ groepen doelgericht te werven en uit te nodigen voor panelonderzoek. Dus: dankzij de technologische ontwikkelingen ontstaat de mogelijkheid om de grootste bedreiging van marktonderzoek—non-respons—om te vormen tot een belangrijke kans om survey onderzoek verder te ontwikkelen.

Variatie in panelmanagement leidt tot ander gedrag, niet tot andere antwoorden

Aanbieders van online marktonderzoekpanels gebruiken verschillende methodes om panelleden te werven, variërend van online benaderen, het aankopen van adressen, telefonisch benadering of werving via traditioneel onderzoek. Ook gaat men verschillend om met beloning. Er worden prijzen verloot, spaarpunten uitgedeeld of namens de panelleden schenkingen gedaan aan goede doelen. Dit alles om deelnemers verbonden te houden aan de panels.

Deze kenmerken hebben effect op het gedrag van de panelleden. Zo zien we dat telefonisch geworven panelleden beter responderen dan online geworven panelleden. In het algemeen reageren respondenten beter op uitnodigingen tot deelname wanneer deze respondenten actief door panels geworven zijn dan wanneer ze zichzelf hebben ingeschreven voor deelname in een onderzoekspanel. Bovendien zien we dat actieve werving middels telefonische of schriftelijk benadering resulteert in meer unieke leden die geen lid zijn van andere panels, in vergelijking met werving via online campagnes en zelfaanmelding. Vervolgens was het opvallend dat een vaste beloning resulteert in een hogere respons in vergelijking met incentives zoals prijsverloting of namens de respondent een bedrag aan een goed doel overmaken.

Interessant is dat de verschillen die we vinden tussen panels in beantwoording niet verklaard konden worden door bovenbeschreven kenmerken. Indicatoren zoals responsepercentage of meervoudig panellidmaatschap die in marktonderzoek als belangrijke aanwijzingen werden gezien voor de kwaliteit van onderzoek, blijken geen effect te hebben op de beantwoording van online vragenlijsten. Dit is als zodanig een opvallende uitkomst. De vraag is dan vervolgens: wat bepaalt dan wél de verschillen?

Verschillende typen respondenten belangrijkste oorzaak van verschillen in uitkomsten

Het onderscheid in respondenttypen blijkt ons verder helpen. Er wordt binnen marketing en markonderzoek veel gesproken over de zogenaamde professionele respondent: Personen die aan de lopende band vragenlijsten invullen en van veel panels lid zijn. En die respondenten blijken inderdaad te bestaan. Verrassend genoeg laat dit type respondent nauwelijks afwijkende antwoorden zien op de vragenlijsten. Waar we veel alerter op moeten zijn is het type dat wij de gemakzuchtige respondent hebben genoemd. Dit zijn personen die zo snel mogelijk de vragenlijst invullen en niet of nauwelijks de moeite nemen om open vragen te beantwoorden. Dit type respondent vertoont vaak zogenaamd ‘doorklik’ gedrag: een reeks stellingen wordt allemaal van dezelfde antwoorden voorzien, ongeacht de inhoud van de vragen. Het serieus invullen van een vragenlijst is er niet bij. Tegenover de gemakzuchtige respondent staat de loyale respondent. Deze neemt de tijd voor het invullen van de vragenlijst en beantwoordt open vragen uitgebreid. Figuur 1 laat zien tot hoe de verschillende respondenttypen reageren op de vraag naar de reclamebekendheid van een aantal merken. We zien duidelijk dat loyale respondenten zich meer reclames herinneren dan de andere respondenttypen en dat met name gemakzuchtige respondenten zeer slecht reageren op reclameherinnering.

Verschillen in marketing KPI’s zoals merk- en reclamebekendheid blijken goed te verklaren te zijn vanuit het respondenttype. Panels met veel gemakzuchtige respondenten leveren een relatief lage merk- en reclamebekendheid op, panels met relatief weinig van dit type respondenten een relatief hoge.

Hoewel er talloze voordelen aan online onderzoek zitten, is dit van zelfsprekend één van de meest kwetsbare onderdelen van deze vorm van ondervragen: er is geen controle over wie wat en hoe invult. Bovendien zet de combinatie van beloning en double opt-in registratie (respondenten moeten 2 keer zelf bevestigen dat ze deel willen nemen) de deur open naar de instroom van gemakzuchtige respondenten. Het is een uitdaging voor panelbureaus om de verschillende respondent typen in hun panelbestanden te traceren en tenminste de samenstelling van respondenttypen in steekproeven op dit soort eigenschappen vergelijkbaar te maken.

Werk aan de winkel

De uitkomsten van NOPVO kunnen we beschouwen als een belangrijke gelegenheid om de methode van online dataverzameling verder te professionaliseren. Want één ding is zeker: aan de traditionele manier van enquêteren hangen zeker zo veel bezwaren. Telefonisch kunnen we onvoldoende mensen bereiken en straatinterviews zijn te tijdrovend om in veel gevallen nog effectief in gezet worden.Nederland loopt in de wereld voorop met het gebruik van online panels voor het verzamelen van opinie- en marktgegevens. Met het NOPVO hebben we beoogd handreikingen te bieden om de kwaliteit van online panelonderzoek verder te verhogen. De deelname van 19 panels aan dit onderzoek bewijst dat de aanbieders van online onderzoek veel waarde hechten aan innovatie en ontwikkeling. Er wordt op dit moment bijvoorbeeld al gewerkt aan de inzet van creatieve wervingsmethoden om de samenstelling van online panels te verbreden. Andere bureaus zijn bezig met de ontwikkeling van analysetechnieken om real time de gemakzuchtige respondenten uit het onderzoek te kunnen filteren.Kortom, er is in deze industrie zonder meer werk aan de winkel, waar tegenover staat dat dit ook, as we speak, gebeurt: deze relatief jonge markt is zich razendsnel aan het ontwikkelen en continu op zoek naar aanscherping. Enige bezorgdheid en een kritische blik zijn altijd op zijn plaats, maar Het NOPVO-onderzoek laat zien dat er genoeg reden is om met dit onderzoeksinstrument de toekomst met vertrouwen tegemoet te zien.

Figuur 1: Verschillen tussen type respondenten in reclame bekendheid (weergegeven als deviatie van het gemiddelde)

..