Waarborg representativiteit ligt in gebruik verschillende methodes naast elkaar

De medewerking aan onderzoek is nog steeds tanende. Daar zijn vele redenen voor. Onderwerp en de lengte van het gesprek hebben grote invloed op de bereidwilligheid om mee te werken. Daarnaast varieert de bereikbaarheid van delen van de samenleving sterk per methode van ondervraging. Representativiteit van onderzoek staat onder grote druk en daarmee de kwaliteit van de informatie die we leveren. Al deze ontwikkelingen vragen om veranderingen in het denken over wat wel en niet geoorloofd is bij dataverzameling.

Respons daalt nog steeds

In de jaren tachtig kon het nog gebeuren dat er op verjaardagsfeestjes getwijfeld werd aan de representativiteit van onderzoek omdat men zelf nooit ondervraagd was. Tegenwoordig kan je bij dit soort gelegenheden beter niet meer bekend maken dat je marktonderzoeker bent want de klaagzang over de ongevraagde telefoondruk kent geen grenzen. En uitleggen dat niet ieder ongevraagd telefoontje marktonderzoek is helpt ook niet echt. De bereidwilligheid om aan onderzoek mee te werken neemt nog steeds af. Dat is ook af te leiden uit wat meer objectieve gegevens.

Continu onderzoeken zijn daarvoor een goede graadmeter omdat methode en inhoud vrijwel ongewijzigd blijven. Sinds 1986 loopt bij het NIPO de Business Monitor. Een onderzoek bij het bedrijfsleven met een vragenlijst met een gemiddelde lengte van 20 minuten. Eind jaren tachtig was de verhouding tussen geslaagde gesprekken en weigeringen 65% versus 35%.Sindsdien zien we per kwartaal een gestaag afnemende bereidwilligheid. Ook nu nog, ondanks alle inspanningen die gedaan worden om respons te bevorderen. De verhouding tussen geslaagde gesprekken en weigeringen is al meer dan omgekeerd.: 30% versus 70%. Om tot een geslaagd gesprek te komen moeten nu veel meer contactpogingen gedaan worden dan in het verleden. Voor een gemiddeld consumenten gesprek zijn nu ca. 7,5 contactpogingen nodig. Drie jaar geleden was dat nog ongeveer 5. Dat dit alles een opwaartse druk op de kosten van onderzoek geeft mag duidelijk zijn.

Gevaar van selectieve response neemt toe

Er is een ongeschreven regel in het marktonderzoek die zegt dat de non respons zich net zo gedraagt als de respons. De wetenschappelijke methodes die bij steekproeftrekking gebruikt worden staan daar borg voor. In de praktijk blijkt echter maar al te vaak dat er sprake is van selectieve respons en dat de uitkomsten van een onderzoek meer vertekend zijn dan ons lief is. En hoe lager de respons des te groter wordt het gevaar van selectieve respons. De bereidwilligheid om mee te werken hangt van vele factoren af maar wordt in sterke mate bepaald door de betrokkenheid bij en de interesse in het onderwerp en de lengte van een vraaggesprek. Hoe meer iemand geïnteresseerd is in een onderwerp hoe groter de kans is dat die persoon meewerkt aan een onderzoek over dat onderwerp. En mensen die in iets geïnteresseerd zijn gedragen zich niet alleen in onderzoek anders maar ook in werkelijkheid anders dan niet geïnteresseerden. Wat voor gevolgen dat kan hebben voor de uitkomsten van onderzoek kan het best aan de hand van een voorbeeld worden duidelijk gemaakt.

Het betreft een onderzoek over de afname van diensten bij en het imago van banken dat jaarlijks gehouden wordt in opdracht van enkele grote banken. Begin jaren 90 besloot een aantal banken samen te gaan en werd besloten de vragen over het imago dat jaar niet in de vragenlijst op te nemen. De gespreksduur ging daarmee terug van ruim 30 minuten naar 14 minuten. De vragen aan het begin van de vragenlijst over relaties en de dienstafname bleven ongewijzigd. De uitkomsten echter niet. Er deden zich grote verschuivingen voor in de relaties met de diverse banken. En als er een branche is in Nederland waar men hondstrouw is dan is dat in de banksector. Het aantal switchers is in werkelijkheid heel erg beperkt. En ook andere onderzoeken lieten een stabiel relatiepatroon zien. De waargenomen veranderingen in de relaties met banken hadden niets van doen met heftige marktbewegingen. De oorzaak van de veranderingen konden nagenoeg geheel teruggevoerd worden aan de verschillen in respons en de daardoor andere samenstelling van de ondervraagde steekproef.

De respons verschilde van het een op het andere jaar sterk. Bij de vragenlijst van 30 minuten bedroeg de repons net 30% en bij die van 14 minuten 54%. Tabel 1 laat enkele verschillen zien in de uitkomsten en de respons. Het gemiddelde aantal bankrelaties was van 2,1 gedaald naar 1,8 en het aantal bedrijven met maar 1 bankrelatie was gestegen van 28% naar 40%. De verklaring voor deze verschillen ligt in de interesse in bankieren. Mensen die in bankieren geïnteresseerd zijn zullen in het dagelijkse leven zich tot meerdere banken wenden om daar zaken mee te doen en op die manier betere voorwaarden te kunnen afdwingen. Zij zijn ook eerder bereid om aan onderzoeken over banken mee te werken. Mensen die niet of weinig in bankieren geïnteresseerd zijn beperken zich voor het zaken doen veelal tot een noodzakelijke bank. En bij onderzoek over bankzaken weigert men vooral bij langere vragenlijsten eerder omdat men bang is dom te worden gevonden omdat men er weinig vanaf weet of omdat men zich niet gedraagt op een manier die van een ondernemer verwacht wordt.

Om het effect van de lengte van de vragenlijst zuiver te kunnen meten is ook een testonderzoek gedaan waarbij alleen in de aankondiging verschil werd gemaakt in de lengte van het gesprek. Vragenlijst van deze split run waren volledig identiek.

Tabel 1

	Jaar 1 lange vragenlijst	jaar 2 korte vragenlijst	test met aankondiging 30 minuten	test met aankondiging van 14 minuten
Steekproef	Ca. 3000	Ca. 3000	250	250
Respons	30%	54%	28%	56%
Lengte gesprek	30 minuten	14 minuten	14 minuten	14 minuten
Gemiddeld aantal bankrelaties	2,10	1,84	2,15	1,92
Relatie met 1 bank	28%	40%	26%	34%

Het risico op selectieve non-respons wordt groter naarmate een vraaggesprek langer duurt. Vanuit de VMO bureaus wordt geadviseerd een telefonisch vraaggesprek maximaal 20 minuten te laten duren. Om inzicht te krijgen in selectieve respons kan men aan weigeraars een of twee vragen stellen die inzicht geven in relevante kenmerken. Door onderzoek niet te specifiek te omschrijven kan men de kans op selectieve non-respons verminderen. Het beste middel om zuiver inzicht te krijgen in marktverhoudingen is echter een korte vragenlijst met daarin alleen de noodzakelijke vragen voor het bepalen van marktverhoudingen.

Ook bereikbaarheid neemt af

Een steeds groter deel van de non-respons is te wijten aan het niet meer kunnen bereiken van bepaalde bevolkingsgroepen in de samenleving. Het `druk-druk-druk syndroom` en de 24-uurs economie houdt steeds meer mensen in de greep. Het thuis zijn of het tijd hebben op momenten dat men voor onderzoek benaderd wordt is niet gelijkelijk verdeeld over alle geledingen van de samenleving. Hierdoor zijn bepaalde bevolkingsgroepen stelselmatig ondervertegenwoordigd in steekproeven. En die bereikbaarheid verschilt per methode van onderzoek. Bij face-to-face onderzoek worden uit kosten overwegingen gewoonlijk minder contactpogingen gedaan. Tweeverdieners, jongeren en hoger opgeleiden zijn daardoor stelselmatig ondervertegenwoordigd bij face-to-face onderzoek.

Respondent gaat methode van ondervraging straks zelf kiezen

Om het hoofd te kunnen bieden aan deze ontwikkelingen zullen we een aantal zaken rondom onderzoek moeten accepteren die tot voor kort geheel taboe waren. Mede ingegeven door de schaarste aan enquêteurs zullen we toegaan naar zogenaamde acces panels. Databases met enkele tienduizenden zorgvuldig geselecteerde huishoudens en bedrijven die zich bereid verklaard hebben om met enige regelmaat aan onderzoek mee te werken. Men zal betaald worden voor het geven van informatie. De kosten van enquêteurs worden doorgesluisd naar de respondent om zo binding te creëren. Van deze huishoudens-bedrijven wordt een groot aantal zaken bijgehouden. Hiermee kunnen steekproeven efficiënter worden aangestuurd en selectieve respons worden vermeden. En respondenten kunnen zelf aangeven op welke manier men informatie wil verstrekken. Hetzij telefonisch, mondeling of via Internet. Daar kleven natuurlijk allerlei onderzoektechnische bezwaren en beperkingen aan. En een aantal zaken zal daardoor onmogelijk worden. Maar we dienen ons serieus af te vragen wat beter is: een `representatieve` steekproef waarmee we 20% van de bevolking bereiken of een steekproef waarbij verschillende methodes gebruikt worden maar waarbij 60% van de bevolking is vertegenwoordigd..Wat mij betreft is het antwoord duidelijk.

Ted Vonk

Directeur NIPO, het Marktonderzoekinstituut

05/09/1999