Representativiteit.
Uiteraard
vormen de huidige gebruikers van Internet nog geen ideale afspiegeling van de
bevolking. En dat zal in de nabije toekomst natuurlijk snel gaan verbeteren. Maar
de penetratie van Internet is in sommige delen van de samenleving al zo hoog
(hogere inkomens, beter opgeleiden, in sommige delen van het bedrijfsleven
etc.) dat je daar alwel gebruik van het Internet kan maken voor onderzoek. Of
bijvoorbeeld onder gebruikers van Internet.
Representativiteit
van onderzoek staat of valt echter met de mate waarin je een steekproef kan
aansturen en beheersen. De behoefte aan representativiteit kan echter van
onderzoek tot onderzoek varieren. Wil je een globale indruk van iets hebben dan
doet het er minder toe of de steekproef helemaal representatief is. Wil je echter
een nauwkeurige schatting van penetratie of gebruik hebben dan is
representativiteit wel belangrijk. Ik geloof absoluut niet in onderzoek waarbij
bezoekers van sites een vragenlijst krijgen
voorgeschoteld of via een banner naar een vragenlijst worden geleid. Deze
steekproeven zijn altijd gebiased en heavy users zijn oververtegenwoordigd. Die
hebben nu eenmaal meer kans om in de steekproef te komen. Het beste voorbeeld
daarvan is de Nationale Internet Monitor. Bezoekers van bepaalde sites krijgen
een vragenlijst voorgeschoteld over hun Internet gebruik..De
uitkomsten van het onderzoek over E-commerce zijn weinig realistisch. Men heeft
dat inmiddels ingezien en heeft bij de tweede meting
(die vorige week werd gepubliceerd) via een telefonische steekproef een
referentiekader proberen te creeeren waarmee de steekproef van het Internet
onderzoek naar de juiste proporties is gewogen. Dat is al een heel stuk beter.
De ervaring leert echter dat je nooit helemaal de effecten van bias kan
wegwegen.
Dit
voorbeeld lijkt sterk op een onderzoek dat Renault jaren geleden heeft gedaan
naar een ontwerp van een nieuw model. Dat heeft men gedaan op een
autotentoonstelling. De daar aanwezige “freaks” vonden het model geweldig. Men
is het toen ook gaan produceren. Het is een grote flop geworden. De doorsnee
automobilist vond er niks aan.
Er
wordt ook gezegd dat door de grote aantallen respondenten die meedoen aan
Internet onderzoek de uitkomsten vanzelf aan betrouwbaarheid winnen en
representativiteit er minder toe doet. Maar ook daar kan
je de plank mee mis slaan. De Postbank heeft onlangs aan zijn Girotel abonnees
een vragenlijst toegemailed die door 70.000 mensen is ingevuld. Die konden
allerlei wensen en behoeften kenbaar maken. Er kwamen hele
duidelijke uitkomsten uit. De Postbank heeft echter ook een telefonisch
onderzoek gehouden onder Girotel-abonnees die geen vragenlijst hadden
teruggestuurd. Daar kwamen heel andere uitkomsten uit. De mensen die niet
meegedaan hadden aan het onderzoek bleken vooral mensen te zijn die minder vaak
van Girotel gebruik maakten. Dat bleken vooral mensen te zijn die moeite met de
bediening van Girotel bleken te hebben of over mindere apparatuur bleken te
beschikken.
Het
meewerken aan onderzoek wordt sterk bepaald door de met binding en de
betrokkenheid bij een onderwerp. Hoe groter die is des te meer is men geneigd
mee te werken aan onderzoek. Daarom herhaal ik nog mijn eerder gedane bewering:
Representativiteit van onderzoek staat of valt met de mate waarin je een
steekproef kan aansturen en beheersen.
Ik denk
daarom dat door de traditionele marktonderzoekwereld het Internet vooral als
postaal medium zal worden gebruikt. Vanuit een steekproefbestand worden mensen
per E-mail benaderd om aan onderzoek mee te werken. Dat kan zowel on-line als
off-line gebeuren. Antwoorden worden ook weer teruggestuurd en de respons kan
worden bijgehouden. Degenen die nog niet hebben meegewerkt kunnen nogmaals benaderd worden, eventueel via andere media om tot
een goede afspiegeling van de doelgroep te komen. Ik heb bewust de traditionele
onderzoekwereld genoemd omdat die grote waarde hecht aan het gebruik van
wetenschappelijke methoden en technieken. Bij de nieuwe onderzoekbureaus
(cyberbureaus) die zich geheel op het Internet verlaten is
dat minder of ontbreekt het aan voldoende kennis.
Binnen
de NVMI is een vakgroep opgericht die zich met deze zaken bezig houdt. Er wordt
openlijk gediscussieerd over deze onderwerpen door onderzoekers van bureaus
(zowel de traditionele als de Cyberbureaus) en door opdrachtgevers. Ook wordt
er gepraat over gedragsregels. Ook ESOMAR houdt zich daarmee bezig en we zullen
wel tot een stukje zelfregulering moeten komen. Juist die hang naar specifieke
en persoonlijke gegevens heeft ertoe geleid dat er door de Europeesche Unie
richtlijnen zijn uitgevaardigd ter bescherming van het individu. De ontwerpwet
‘ Wet Bescherming Persoonsgegevens” is daar een gevolg van. In de Nederlandse
versie staat te lezen dat je geen gegevens mag vastleggen zonder
ondubbelzinnige toestemming van een persoon. Dat betekent in de praktijk
schriftelijke toestemming. Als dit doorgaat zal dat grote gevolgen hebben voor
het Marktonderzoek. Telefonisch onderzoek wordt aanzienlijk moeilijker en ook
Internet onderzoek kan je dan niet zomaar meer doen. Alleen via zelfregulering
kan deze wet verzacht of omzeild worden.
NIPO is
behoorlijk actief op Internet. Zelf ben ik al enige tijd bezig met het bouwen
van het virtuele NIPO. Alle functies van het marktonderzoekbureau kunnen via
Internet gedaan worden, zowel communicatie, verkoop, dataverzameling als
distributie.NIPO participeert ook in Media Plaza (het demonstratiecentrum voor
de elctronische snelweg in Nederland) omdat we ons ervan bewust zijn dat
Internet ons hele doen en laten gaat beinvloeden. Maar ik zal me hier verder beperken tot
dataverzameling.
Onlangs
hebben we bekend gemaakt dat we een nieuw instrument hebben: CAPI@Home. Dit basis van dit instrument wordt gevormd door
(op dit moment nog) ca. 10.000 huishoudens die over een computer en een modem
beschikken. Deze huishoudens (ca. 25.000 personen) hebben zich bereid verklaard
om regelmatig aan onderzoek mee te werken. We hebben ze verzameld via onze
traditionele instrumenten (CAPIBUS en Consumenten Monitor) en we hebben de
beschikking over een groot aantal achtergrond kenmerken. We kunnen steekproeven
dus sturen op basis van deze kenmerken. We kunnen ook selecties maken van
speciale doelgroepen.
Vragenlijsten
worden naar deze huishoudens toegemailed of gemodemd. Dit hangt af van het al
dan niet op Internet aangesloten zijn. En ook de antwoorden komen terug via
dezelfde weg. De ervaringen met de kwaliteit van de antwoorden zijn sterk
vergelijkbaar met die van ons Telepanel. Het huishoudpanel dat wij een PC met
modem hebben gegeven.(In feite is dit een Internet panel “avant la lettre”). We
zien dat mensen echt de tijd nemen om de vragen te beantwoorden. Ze kunnen zelf
het moment uitkiezen waarop ze de vragen beantwoorden. Dat is met name zichtbaar bij open vragen. Die worden veel
uitvoeriger beantwoord dan in het bijzijn van een enqueteur.
Op
korte termijn willen we Capi@home uitbreiden naar
30.000 huishoudens. Op termijn zal dat doorgroeien tot wellicht 100.000 of
150.000 huishoudens. Uiteindelijk zal dit helemaal via Internet gaan lopen en
voor een groot deel de plaats gaan innemen van de traditionele
dataverzamelingsmethoden..
De
ontwikkeling van Capi@home is recentelijk
in een stroomversnelling gekomen. Dat heeft te maken met de problemen met de
traditionele dataverzamelingsmethoden.
Bij
mondeling onderzoek hebben we te maken met een tekort aan enqueteurs. De krapte
op de arbeidsmarkt zorgt ervoor dat er nauwelijks instroom meer is. We proberen
al meer dan een jaar ons bestand met ca. 600 enqueteurs uit te breiden. Dat
lukt op geen enkele manier. Vooral in grote steden zitten we met dit probleem.
Bij
telefonisch onderzoek hebben we te maken met de sterk teruglopende respons. En
dan met name in de meer welstandige bevolkingsgroepen
en de moeilijk bereikbare groepen van alleenstaande jongeren, de twee
verdieners e.d.. Dat zijn de groepen die relatief vaker in het bezit zijn van
een PC met modem en een Internet aansluiting. De electronische dataverzameling
kan hier een complementaire rol in spelen.
De
onzekerheid rondom de wet bescherming persoonsgegevens (WPB) heeft ook
bijgedragen aan de versnelde opzet van Capi@home.
Via Capi@home kunnen we de steekproeven aanvullen
waar we tekorten hebben. En ik weet ook wel dat het vloeken in de kerk is voor
een onderzoeker om twee verschillende onderzoekmethodes bij elkaar te tellen. Maar
wat is beter: een steekproef waarin delen van de samenleving ontbreken of een
steekproef waar wel alle lagen van de bevolking zijn vertegenwoordigd? Zeker
voor de registratie van feitelijke gegevens biedt dit
een uitkomst.
Met de
toenemende penetratie van Internet zal deze wijze van dataverzameling alsmaar
belangrijker worden. Ook andere bureaus zullen zich op deze methodes gaan
toeleggen. En ook in de VS zien we inmiddels een aantal bureaus met reeds zeer omvangrijke interactieve panels. En ik denk dat
het sneller zal gaan dan menigeen denkt.
Bij
veel on-line Internet onderzoek wordt gebruik gemaakt van vragenlijst software
met beperkte mogelijkheden. In feite gaat het niet veel verder dan de
ouderwetse papieren vragenlijst met alle problemen vandien.
Bij het
NIPO hebben we ons op het standpunt gesteld dat we via Internet van de zelfde
geavanceerde mogelijkheden gebruik willen maken als bij CAPI en CATI onderzoek.
Inclusief het gebruik van multi-media en bijvoorbeeld conjunct-meten. Enerzijds
heeft dat te maken met de kwaliteit van onderzoek die we willen blijven
leveren. Anderszijds heeft het te maken met efficiency binnen de organisatie.Door dezelfde vragenlijst software te gebruiken voor alle
dataverzamelingsmethoden ben je flexibler met de inzet van mensen en heb je
minder mensen nodig.
Marktonderzoek
is natuurlijk meer dan dataverzamelen. In feite leveren we informatie of kennis
aan onze opdrachtgevers, de beroemde toegevoegde waarde. En deze informatie
hoeft niet alleen van primaire data afkomstig te zijn. Juist de secundaire data
en het hergebruik daarvan zullen een grote invloed hebben op het reilen en
zeilen van de marktonderzoekwereld. Voordat je aan dataverzameling gaat beginnen
ga je eerst kijken wat er al aan informatie beschikbaar is. (En dat is heel
veel) Die informatie ga je eerst bewerken en vervolgens ga je kijken wat er nog
nodig is. Bij de marktonderzoekbureaus (en ook bij aanpalende branches zoals de
consultancy firma’s) krijg je specialisten op het gebied van het zoeken naar
bestaande informatie op het Internet, het volgen van berichtgeving in de
electronische media, het spitten in databases van opdrachtgevers
(datamining)etc. Degenen die dit soort zaken nu aan zich voorbij laten gaan
zullen in de nabije toekomst de boot gaan missen.
Ted Vonk