In 2007 won Naomi Kamoen de scriptieprijs Geesteswetenschappen van de Universiteit Utrecht met haar scriptie over de effecten van vraagformulering op de uitkomsten van enquêtes. UU
Al in 1941 concludeerde de Amerikaanse wetenschapper Donald Rugg dat mensen niet hetzelfde op positieve en negatieve formuleringen antwoorden. Hij stelde 1300 mensen de positieve vraag: vindt u dat de Verenigde Staten toespraken tegen democratie moeten toelaten? Een vergelijkbare groep van nog eens 1300 mensen kreeg de negatieve vraag voorgelegd: vindt u dat de Verenigde Staten toespraken tegen democratie moeten verbieden?
Op de positieve vraag antwoordde 75 procent van de ondervraagden nee. Op basis van die uitkomst zou je verwachten dat zo’n driekwart van de ondervraagden de negatieve vraag met ja zou beantwoorden. Immers: zowel de vraagvarianten toelaten en verbieden als de antwoord opties ja en nee zijn elkaars tegengestelde. Toch werd de negatieve vraag maar door 54 procent van de ondervraagden met ja beantwoord.
Woordparen
Ook het onderzoek van Kamoens co-promoter Bregje Holleman (Universiteit Utrecht) toonde aan dat vragen met toelaten of verbieden, zogenaamde contrastieve werkwoorden, verschillende antwoorden opleveren. Kamoen trok het onderzoek breder door ook andere contrastieve woordparen te onderzoeken, zoals makkelijk/moeilijk of goed/slecht. Bijvoorbeeld: ‘Dit is een goed boek’ versus ‘Dit is een slecht boek’.
Daarbij moesten de proefpersonen op een schaal aangeven of ze het eens of oneens waren met de stelling. In totaal werden 12 kleine experimenten uitgevoerd met 1619 respondenten. Daaruit bleek dat positieve en negatieve vragen of stellingen systematisch verschillend beantwoord worden: mensen zijn eerder geneigd om ‘nee’ of ‘oneens’ te antwoorden op negatieve vragen dan ‘ja’ of ‘eens’ op positieve vragen.
Theorie
Maar waarom reageren mensen anders op positieve dan op negatieve vragen? Daarvoor bestaan twee theorieën, legt Kamoen uit, gebaseerd op twee cognitieve fasen die mensen doorlopen bij het invullen van vragenlijsten: een fase waarin ze de vraag begrijpen en een mening vormen (de ‘ophaalfase’), en een fase waarin ze die mening vertalen naar een passende antwoordoptie (de ‘antwoordfase’).
Volgens de eerste theorie worden positieve en negatieve vragen al in de ophaalfase anders begrepen. Volgens de tweede theorie – ook wel ‘mapping’-theorie – gebeurt dat pas in de antwoordfase. In de antwoordfase wordt een koppeling (mapping_) gemaakt tussen de antwoordopties (ja/nee_) en de evaluatieve term (verbieden/toelaten) in de vraag. De manier waarop de antwoordopties worden geïnterpreteerd is dus afhankelijk van de evaluatieve term. De betekenis van ja + toelaten is daardoor anders dan nee + verbieden.
Bij oogbewegingsonderzoek (Engels: eye-tracking) wordt nauwkeurig geregistreerd waar een proefpersoon kijkt op een computerscherm terwijl hij een taak uitvoert. Fraunhofer IDMT
Oogbewegingen
Om deze verschillende theorieën te toetsen, deed Kamoen twee oogbewegingsstudies, één met 56 en één met 122 proefpersonen. Bij oogbewegingsonderzoek wordt nauwkeurig geregistreerd waar een proefpersoon kijkt op een computerscherm terwijl hij een taak uitvoert. De proefpersonen kregen in dit geval zowel positieve als negatieve vragen voorgelegd.
Een belangrijk verschil was dat de respondenten negatieve vragen veel vaker teruglazen, en hun blik vooral terugging naar de evaluatieve term. Dit pleit voor de mapping-theorie, waarbij de betekenis van het antwoord en de evaluatieve term gecombineerd worden. Antwoorden hebben blijkbaar een betekenis die afhankelijk is van de context: de evaluatieve term die eraan vooraf gaat.
Praktijk
Wat voor implicaties hebben de resultaten van dit onderzoek voor de praktijk? De belangrijkste lering is volgens Kamoen dat positieve vragen niet vertaald mogen worden naar negatieve. Zo werd ooit in een enquête van de gemeente Utrecht de vraag ‘vindt u dat softdrugs verboden moeten worden?’ door 80 procent met ‘nee’ beantwoord. Deze uitslag leidde tot de volgende krantenkop: ‘80 procent van Utrechtenaren is voor het toelaten van softdrugs.’ Een gevaarlijke vertaalslag, stelt Kamoen.
En wat is haar advies voor enquêtemakers? “Opinies zouden gemeten moeten worden met meer dan één vraag. Maar het veel gestelde advies dat positieve en negatieve formuleringen elkaar af moeten wisselen is niet aan te raden. Daardoor gaan de antwoorden van één respondent namelijk al variëren, wat een negatief effect heeft op de betrouwbaarheid van de resultaten. Het is dus beter om vragen over hetzelfde onderwerp ofwel positief ofwel negatief te formuleren.”