NOPVO, 1 jaar later…..
Meeste panels aan de slag
gegaan met NOPVO bevindingen
Door Ted Vonk
In september 2006 deden de
uitkomsten van het NOPVO heel wat stof opwaaien. Zelfs de landelijke media
besteden ruim aandacht aan zaken als de representativiteit van de panels, de
paneloverlap en het effect van beroepsrespondenten op uitkomsten van
marktonderzoek. Zaken waarover voordien wel werd gesproken maar die door het
NOPVO veel inzichtelijker werden gemaakt. Niet alle media aandacht was
echter even positief en als gevolg daarvan is er zeer terughoudend met de
uitkomsten van het NOPVO omgegaan. Waar in het buitenland met regelmaat van
de klok seminars en congressen over de sterke en zwakke kanten van online
onderzoek worden gehouden is het Nederland sindsdien angstig stil geweest.
Maar hebben de panels sindsdien stil gezeten of hebben ze lering getrokken
uit de bevindingen van het NOPVO en zijn ze er mee aan de slag gegaan?
Een onderzoekje in oktober 2007
onder de deelnemers aan het NOPVO leert dat praktisch alle NOPVO deelnemers
een jaar na de presentatie van de NOPVO uitkomsten op een of meerdere
aspecten van panelmanagement acties hebben ondernomen. Deels hebben ze dat
gedaan naar aanleiding van de uitkomsten van het NOPVO, deels vanuit het
streven naar verbetering van producten en diensten wat ieder bedrijf
eigenlijk continu moet bezighouden. Doel van het onderzoekje was niet zozeer
om te kwantificeren hoeveel panels acties hebben ondernomen maar meer om te
inventariseren wat er zoal gebeurd is waarmee iedereen zijn voordeel kan
doen. Aan het onderzoekje hebben 12 van de 19 NOPVO deelnemers meegedaan.
Dit hebben de panels zoal
ondernomen op de verschillende aspecten van panelmanagement:
Werving en selectie van
panelleden met meer zorg
Diverse panels leggen zich
tegenwoordig meer toe op de werving van hun panelleden via lopend off-line
(representatief) onderzoek. Men zegt minder gebruik te maken van zelf
aangemelde panelleden. Zo tracht men meer panelleden te vinden die geen
heavy internet users zijn en die nog lid zijn van meerdere andere panels om
zodoende de paneloverlap te reduceren. Men wil minder gebruik maken van het
inkopen van adressen. En als men dat al doet probeert men exclusiviteit voor
het gebruik van onderzoek te bedingen.
Frequentie uitnodigen
onderzoek ongewijzigd
De regels voor de frequentie
waarmee respondenten worden uitgenodigd zijn bij geen van de panels
gewijzigd. Wel zijn er panels die meer gegevens van hun panelleden hebben
verzameld waardoor er specifieker kan worden uitgenodigd en er dus minder
gescreend hoeft te worden. Ook zijn er panels die andere software hebben
aangeschaft die meer controle biedt over het uitnodigingsproces. Geen van de
panels heeft de beloningsstructuur voor het meedoen aan online onderzoek
aangepast.
Paneloverlap in kaart gebracht
De meeste panels brengen
inmiddels in kaart van welke andere panels de panelleden lid zijn. Verder
kan men daar nog weinig mee omdat men niets weet van de frequentie en de
onderwerpen van de onderzoeken bij de andere panels. Vanuit de NOPVO
technische commissie is er een voorstel voor het oprichten van het
zogenaamde MOA Panel Instituut. Hierin brengen alle panels gegevens over hun
panelleden en de onderzoeken waaraan ze hebben deelgenomen onder zodat
daarmee rekening kan worden gehouden. Het is echter de vraag of en wanneer
het panelinstituut operationeel wordt.
Panelonderhoud en
administratie aangescherpt
Diverse panels hebben de
frequentie waarmee de panelbestanden worden opgeschoond verhoogd of doen het
op een meer gestructureerde basis. Ook hebben enkele panels nieuwe software
aangeschaft die meer mogelijkheden hebben op het gebied van panelmanagement.
Opsporen/identificeren
frauduleuze/gemakzuchtige/beroeps respondenten komt op gang
Het merendeel van de panels geeft
aan als gevolg van het NOPVO meer aandacht aan te besteden aan het opsporen
en identificeren van respondenten die de kwaliteit van de verzamelde
informatie mogelijk ondermijnen. Sommigen hebben daar softwarematige
oplossingen voor gemaakt of aangeschaft. Anderen studeren nog op de
mogelijkheden dit opsporen op een meer gestructureerde manier te doen. De
mate waarin panels hier aandacht aan besteden loopt sterk uiteen. Het
segmenteren van panelrespondenten is een van de onderwerpen die om nader
onderzoek en discussie vragen. Er zijn in het buitenland inmiddels meerdere
studies verschenen waarin types respondenten worden geďdentificeerd. De
aanbevelingen over hoe hier mee om te gaan zijn echter niet eenduidig.
Sommigen zeggen dat bepaalde respondenten uit de data dienen te worden
verwijderd. Anderen zijn daar minder stellig in.
Opdrachtgevers zijn kritischer
geworden en panels hebben hun verkoopverhaal genuanceerd
De houding van opdrachtgevers ten
opzichte van internetpanels is als gevolg van de NOPVO uitkomsten
aanmerkelijk kritischer geworden. Dat was vooral het geval vlak na de
publicatie van de NOPVO uitkomsten in 2006. Er werden veel vaker vragen
gesteld over de werving, kwaliteitsbewaking en samenstelling van het panel.
Inmiddels is de aandacht voor deze onderwerpen weer verflauwd en worden dit
soort vragen veel minder vaak gesteld. De meeste panels hebben hun
verkoopverhaal richting opdrachtgevers als gevolg van het NOPVO meer
genuanceerd. Er wordt meer aandacht besteed aan de werving en de
kwaliteitsmaatregelen die men neemt. Bijna alle panels hebben de NOPVO
uitkomsten uitvoerig aan hun medewerkers gepresenteerd en met ze besproken.
Tot slot
Online onderzoek is nog volop in
ontwikkeling en biedt door de voortschrijdende technische mogelijkheden
steeds weer nieuwe mogelijkheden. Dat er daardoor zaken in eerste instantie
niet altijd even optimaal worden geregeld is daaraan inherent. Het hoofddoel
van het NOPVO was het aanscherpen van het kwaliteitsbewustzijn en het
stimuleren van discussies daarover. De Amerikaanse onderzoek goeroe Prof.
Don Dillman van Washington State University noemde het NOPVO
“the most thought provoking study I have seen in many years”. Het
NOPVO bevat een schat aan materiaal waarover nagedacht en gediscussieerd kan
worden om de kwaliteit van online onderzoek te verbeteren. In de
universitaire wereld gebeurt dat op uitgebreide schaal. Vanuit de
doelstellingen van de Marktonderzoekassociatie ligt hier ook een taak voor
de MOA. Het is echter jammer dat de MOA bij het voeren van een publieke
discussie zijn verantwoordelijkheid niet neemt uit angst voor negatieve
publiciteit over online onderzoek. Een gemiste kans.
NOPVO staat voor het Nederlands Online Panel
Vergelijkings Onderzoek. Aan dit onderzoek werkten 19 online panels mee.
Alle deelnemende panels hebben op hetzelfde moment aan 1000 van hun
panelleden dezelfde vragenlijst voorgelegd. Tevens hebben alle panels
gegevens aangeleverd over de panelhistorie (o.a. duur panellidmaatschap,
aantal ingevulde vragenlijsten etc) van de steekproef. Alle informatie
over de opzet en uitkomsten van dit onderzoek zijn te vinden op
www.nopvo.nl
en op
www.onderzoekpaleis.nl.
Het NOPVO is een initiatief van Pieter Willems, Robert van Ossenbruggen
en Ted Vonk
Top
