
Misschien wel het slechtste online onderzoek ooit…
EM Onderzoek blog:
Misschien wel het slechtste online onderzoek ooit…
Met zo her en der wat tips over hoe het dan wel moet
Leestijd: 8 tot 10 minuten
Meestal is het best goed, maar soms…
In het arbeidsleven dat ligt voor EM Onderzoek was ik onder andere werkzaam bij Multiscope. Mooi bedrijf in Den Bosch dat zich bezig houdt met online onderzoek. Omdat ik in die tijd heel veel internetvragenlijsten mocht programmeren, heb ik me in die tijd ingeschreven bij alle mogelijke consumentenpanels. Ik werd overladen met uitnodigingen om deel te nemen aan allerlei soorten marktonderzoek. En dus kwam ik echt van alles tegen aan online enquêtes. Vaak heel goed, maar soms ook diep treuris. Die kennis heeft ervoor gezorgd dat ik uitstekend weet hoe een goede vragenlijst gemaakt moet worden en wat je absoluut nooit maar dan ook nooit moet doen.
Tegenwoordig neem ik nog maar weinig deel aan andermans onderzoeken. Geen tijd, geen tijd, hoezeer het me ook spijt. Maar ik krijg wel nog heel veel uitnodigingen binnen op een speciaal hiervoor aangemaakt e-mailadres. En vorige week kreeg ik een mailtje met daarin het verzoek om een vragenlijst in te vullen. En zowel die uitnodiging als de bijbehorende internetvragenlijst bieden zo veel stof tot nadenken dat ik het niet kan laten om het op papier te zetten. Want dit is echt een klassiek voorbeeld van hoe het dus niet moet…
Het gaat al mis bij de e-mail uitnodiging
In het arbeidsleven dat ligt voor EM Onderzoek was ik onder andere werkzaam bij Multiscope. Mooi bedrijf in Den Bosch dat zich bezig houdt met online onderzoek. Omdat ik in die tijd heel veel internetvragenlijsten mocht programmeren, heb ik me in die tijd ingeschreven bij alle mogelijke consumentenpanels. Ik werd overladen met uitnodigingen om deel te nemen aan allerlei soorten marktonderzoek. En dus kwam ik echt van alles tegen aan online enquêtes. Vaak heel goed, maar soms ook diep treurig. Die kennis heeft ervoor gezorgd dat ik uitstekend weet hoe een goede vragenlijst gemaakt moet worden en wat je absoluut nooit maar dan ook nooit moet doen.
Tegenwoordig neem ik nog maar weinig deel aan andermans onderzoeken. Geen tijd, geen tijd, hoezeer het me ook spijt. Maar ik krijg wel nog heel veel uitnodigingen binnen op een speciaal hiervoor aangemaakt e-mailadres. En vorige week kreeg ik een mailtje met daarin het verzoek om een vragenlijst in te vullen. Zowel die uitnodiging als de bijbehorende internetvragenlijst bieden zo veel stof tot nadenken dat ik het niet kon laten om deel te nemen en nu ook niet kan laten om het op papier te zetten. Want dit is echt een klassiek voorbeeld van hoe het dus niet moet…
Dat begint al bij de uitnodiging die ik via e-mail ontvang. Deze heeft als titel Lang onderzoek met grote prijzenpot! Zucht, ik weet dus meteen al dat ik waarschijnlijk veel te lang bezig zal zijn met het beantwoorden van de vragen. En met mij dus iedere andere respondent. Maar wie weet leidt het wel tot een vette beloning! Oh, dan doe ik toch mee, maar wel zo snel mogelijk. Lekker belangrijk dat mijn antwoorden dan niet meer eerlijk, oprecht en serieus zijn.
De tekst in de uitnodiging bevestigt opnieuw dat het niet gaat om mijn mening maar dat ik vooral dee moet nemen om kans te maken op een vette beloning. De prijzenpot is gevuld met maar liefst twee keer € 500,- en tien keer € 100,-. Dat is flink. Maar de kans zal vast en zeker veel groter zijn dat ik veel kostbare tijd kwijt ben aan het invullen en er nul komma niks voor terugkrijg. En bedankt.
Het begin van de vragenlijst is nog veel erger…
Oké, een lange vragenlijst. Ik zit er klaar voor. Met stopwatch, dat dan weer wel. Klaar voor de start en… wat is dit? Na een paar vragen over mijn achtergrond volgt een monster matrixvraag met maar liefst 46 rijen. Ik moet namelijk 46 merken scoren op de mate waarin ik bekend met ze ben.
Klaar met het geven van een cijfer, op naar de volgende pagina. Waar me dan nog 45 te wachten staan. En alsof dat niet genoeg is, krijg ik nog een derde irritant lange matrixvraag voorgeschoteld waarin ik 48 merken mag beoordelen op de mate van bekendheid. Dat leidt tot een afscrhikwekkend aantal van 139 merken! Wie verzint dit? Dat kan en wil ik hier ook wel uit de doeken doen. Het uitvoerende marktonderzoeksbureau is MSI-ACI. Daar is bedacht dat het beoordelen van dit absurde aantal merken een goed idee is. Gewoon door ze allemaal op een hoop te gooien en aan iedere respondent voor te leggen.
Tip:
De merken zijn over drie pagina’s verdeeld. Een simpele oplossing om het voor een respondent net wat minder landradig of vervelend te maken, is om iedere deelnemer slechts één van die drie pagina’s voor te leggen en wat meer respondenten te bevragen. Want zo’n 45 merken beoordelen is ook veel, maar wel iets beter te behappen. Er zal minder kans zijn op enquête moeheid en de kans op kwalitatief goede data is vele malen groter dan bij de gehanteerde opzet.
Goed, de merken zijn beoordeeld op bekendheid. En door! Met nog eens alle 139 merken! Maar nu moet ik mijn persoonlijke gedachten of gevoelens over ieder merk vertalen naar een score. Ook van de merken die ik niet of nauwelijks ken. Al is dat volgens MSI-ACI geen enkel probleem. Ik schijn zelfs gedachten of gevoelens te kunnen hebben bij een merk waarvan ik nog nooit gehoord heb. De conclusie is natuurlijk wel dat ik weer drie pagina’s voorgeschoteld krijg en weer overal een score mag achterlaten. Waar gaat dit in hemelsnaam heen?
De vraag is natuurlijk in hoeverre gegevens van respondenten wat betreft gedachten over voor hen onbekende merken enig nut hebben. Het antwoord is simpel. Je hebt er helemaal niets aan. Er zal sprake zijn van de nodige bias en dat had echt voorkomen kunnen worden. Merken in dit onderzoek krijgen nu resultaten die niet conform de waarheid zijn en dat kan echt niet.
Rechts bovenaan de internet vragenlijst is gelukkig een statusbalk te zien. Ik ben voordat ik mijn gevoelens mag uiten al vijf minuten serieus bezig en de statusbalk staat op een schamele 6%. Dit gaat heel lang duren ben ik bang.
Als je ervoor kiest om te vragen naar iemands gedachte bij een bedrijf, doe dat dan alleen bij de bedrijven waar iemand ook echt een beetje bekend mee is. Zo is de kans veel groter dat de scores ook echt ergens op slaan en heeft het ook waarde voor het betreffende merk.

Dit is ‘m dan. De monster matrix vraag over merkbekendheid. Of beter gezegd: de eerste van in totaal drie…
En daarna nog drie….
En daarna nog drie…
14 minuten bezig en op 13% van de vragenlijst
Die vrees blijkt meer dan gegrond. Op naar het volgende stukje ellende. Want ik mag me opnieuw wagen aan twee keer 139 merken, maar nu moet ik aangeven of ik een merk bepaalde eigenschappen toedicht. En niet een paar, nee dat zijn er maar liefst 26! Gelukkig zijn ze opgedeeld en krijg ik eerst de ene 13 en daarna de andere 13 eigenschappen. En hoe dat eruit ziet? Nou zo.

Los van het feit dat respondenten keer op keer te maken krijgen met het bij uitstek meest vervelende vraagtype snap ik werkelijk niet dat iemand ook nu weer merken moet beoordelen waar geen enkele band mee is. Ook de merken waar men niet of nauwelijks bekend mee is en waar iemand dus niets zinnigs over kan zeggen, worden toch weer voorgelegd. Er is echter één lichtpuntje. Het toekennen van eigenschappen is niet verplicht!
Bij de eerste serie van 13 eigenschappen ga ik wel langs alle merken en bij de merken die ik niet ken, geef ik ze een willekeurige eigenschap mee. Na die eerste serie van 13 eigenschappen staat de stoopwatch op 14 minuten en ben ik op 13% van de vragenlijst. Ik klik bij het begin van de tweede serie van 13 eigenschappen voor de vorm direct op de Verder knop onderaan de pagina en mag direct door. Wauw, dan gaat het ineens een stuk sneller. En dat zullen veel meer mensen gedacht hebben. Door naar de volgende vraag en lekker niets invullen! Grote kans dus dat met deze vragen heel weinig relevante data is verzameld. Mensen willen immers door naar het einde, daar waar de beloning wacht.
Tip:
Een even simpele, bruikbare als noodzakelijke tip: verwerk enkel datgene in je vragenlijst wat essentieel is en dus bijdraagt aan het beantwoorden van je onderzoeksvragen. De rest is ballast en echt overbodig. En als we dan toch bezig zijn: voorkom dat te veel mensen betrokken zijn bij het onderzoek en dus ook het maken van de vragenlijst. Iedere betrokkene wil er oneerbiedig gezegd ook even een “plasje over doen” en een paar extra vragen stellen. Met als gevolg? Precies, een te lange vragenlijst met voor jouw onderzoek overbodige vragen.
Mijn vlees is zwak, ik ben afgehaakt…
Ben ik de enige die het vroegtijdig voor gezien heeft gehouden? Dat kan ik me niet voorstellen. Ik zou echt heel graag het dashboard gezien willen hebben met alle respons statistieken. Hoeveel mensen zijn gestart, welk percentage mensen is afgehaakt en hoe lang hebben ze het nog volgehouden? Geen idee, ik kan enkel gissen. Maar als ik mag gokken dan gaat dat om de helft van het totaal aantal startende respondenten.
In een steeds verder wordend verleden heb ik gewerkt bij Multiscope. Zij hebben ooit onder hun eigen online panel onderzoek gedaan naar tal van zaken rondom het deelnemen aan onderzoek. Dat rapport is onlangs ververst en een van de zaken die is onderzocht, is wat een goede lengte is voor een vragenlijst en bij welke tijdsduur men echt af gaat haken. Een goede vragenlijst duurt ongeveer 11 minuten, al is korter zeker niet slechter. Zelf word ik blij van vragenlijsten die maximaal 10 minuten duren, omdat je dan echt tot de kern van het probleem of vraagstuk moet komen en dat zo goed mogelijk moet bevragen. En het moment van afhaken? Dat ligt bij 21 minuten.
Ik ben kortom sneller gestopt dan het gemiddelde panellid van een consumentenpanel. Maar aangezien de invultijd van deze vragenlijst veel hoger gelegen moet hebben, zullen deelnemers massaal zijn afgehaakt. Mijn vlees lijkt dan misschien wel zwak, maar dat is toch echt het gevolg van een bizar lange en vooral heel vervelende online enquête.
Minachting naar respondenten en naar klanten
En wat is het resultaat? Wat krijgen die betreffende merken of bedrijven ervoor terug? Resultaten van slechte tot zeer slechte kwaliteit die daarmee nul komma nul waarde of zeggenschap hebben. Een klant kan er vermoedelijk helemaal niets mee, maar gebruikt de resultaten wellicht wel om belangrijke besluiten te nemen. En dat gebeurt dus op onjuiste, foute en vooral slechte data. Klanten kopen simpelweg een kat in de zak, niets meer en niets minder.
De minachting jegens respondenten heb ik hierboven al voldoende benadrukt volgens mij. Dit schotel je iemand die eerlijk en oprecht zijn of haar mening wil geven niet voor. Doe je het wel op deze manier dan neem je een deelnemer niet serieus, staat de respondent duidelijk niet centraal en gaat het kennelijk enkel en alleen om de centen. Een volstrekt verkeerde drijfveer.
Hoe het dan wel moet: XX tips
Houd het klein
En dat klein houden geldt voor meerdere zaken. Een klein onderzoeksteam, een korte en dus kernachtige vragenlijst en zo veel mogelijk korte en kernachtige vragen. Je mag echt wel een keer een matrixvraag opnemen in een vragenlijst, maar beperk het tot een minimum. Als je dan toch heel veel wil vragen, knip het onderzoek dan op in delen en maak voor ieder deel een aparte vragenlijst. Ja dat is meer werk, maar het komt de kwaliteit ten goede.
Zet de respondent op een voetstuk
Natuurlijk gaat het om de wensen of eisen van de opdrachtgever. Of om wat jij graag onderzocht wil hebben. Maar door daarom maar alles te vragen en die waardevolle deelnemer aan jouw onderzoek met van alles en nog wat op te zadelen? Dat is nooit goed. Daarom dus die korte vragenlijst. Maar ook een goed werkende survey die op ieder apparaat goed is in te vullen. Dat maakt het voor de respondent een stuk aangenamer om deel te nemen en vergroot de kans dat hij of zij ook alle vragen naar eer en geweten invult.
Vreemde ogen dwingen
Nee, je moet niet te veel kapiteins op het schip hebben tijdens het uitvoeren van het onderzoek. Dat leidt zoals gezegd tot te veel mensen die ook iets willen toevoegen aan het onderzoek. Maar een paar vreemde ogen die jouw vragenlijst kritisch bekijken en beoordelen kan geen kwaad. Hoe goed jouw vragenlijst ook is, de kans is toch groot dat je iets over het hoofd ziet of juist iets vergeten bent. Die vreemde ogen kunnen bovendien al kijken naar jouw vragenlijst als respondent en concluderen of het duidelijk en begrijpelijk is allemaal.
Jij bent de baas, wat een klant ook wil
Het onderzoek dat in deze blog centraal staat, lijkt erg uit de hand gelopen te zijn. Niet per sé nu hoor, want de kans is groot dat het al jaren op dezelfde wijze wordt uitgevoerd. Met andere merken in de hoofdrol of misschien wel deels dezelfde merken. Waarom? Omdat we willen benchmarken, we het altijd zo gedaan hebben en dus niets gaan veranderen. Maar jij als eindverantwoordelijke voor het project bent wel de baas. Jij bend neem ik aan de expert op het gebied van marktonderzoek. En jij kan als geen ander bepalen of deze manier van marktonderzoek doen wel zo slim is. Houd dus de regie, ben de baas en sta voor, achter en naast je onderzoek. En voor, achter en naast de mensen die de vragenlijst invullen.
Als het echt niet anders kan: zeg NEE
Hoe lastig ook, soms is nee zeggen de enige en dus beste optie. En dan bedoel ik nee zeggen tegen het uitvoeren van dergelijk onderzoek. Want als we toch maar steeds ja blijven zeggen, verandert er niets. Dan blijven vragenlijsten als deze bestaan en verpesten we de markt voor al het goede onderzoek dat wordt uitgevoerd. Want er komt met dergelijk slecht onderzoek misschien wel een einde aan de bereidheid van mensen om vragen te beantwoorden. En dan? Priecies.
Recente reacties