Schoolvoorbeeld van slecht klantonderzoek

Schoolvoorbeeld van slecht klantonderzoek

Schoolvoorbeeld van slecht klantonderzoek, en tips over hoe je wel goed onderzoek doet onder klanten

Door Eelco Markensteyn, eigenaar marktonderzoeksbureau EM Onderzoek

Leestijd: 4 tot 6 minuten

Hé, een uitnodiging voor een klantonderzoek. Ik doe mee!

Het is een beetje beroepsdeformatie denk ik, maar dat maakt ook niet zo veel uit eigenlijk. Feit is dat ik maar al te graag een bedrijf help door mijn mening te geven. Dus als er weer eens een uitnodiging wordt toegestuurd via e-mail met de vraag of ik deel wil nemen aan een klantonderzoek, dan zeg ik zelden of nooit nee. Het is namelijk ook een tak van sport waar ik zelf ook mijn brood mee verdien, dus ik kijk graag in andermans keuken. Daar kan ik alleen maar wat van opsteken nietwaar.

Zo werd ik in 2017 uitgenodigd door het bedrijf dat mij thuis van digitale TV, internet en een vaste telefoonlijn voorziet. Of ik als klant mee wil doen aan een onderzoek. Natuurlijk! Dienstdoend marktonderzoeksbureau was bovendien TNS-NIPO, een van de echt grote jongens. Nou, dan wil ik zeker even kijken hoe dit gerenommeerde bureau zoiets aanvliegt.

Veel inleidende vragen en een NPS Score zonder toelichting

Over de uitnodigingstekst niets dan goeds. Mijn mening is belangrijk en daarom word ik voor een kort onderzoek benaderd. Prima, dan ben ik al lang en breed overstag. Ook de mededeling dat het me niet al te veel tijd gaat kosten valt goed, want hé ik heb nog meer te doen vandaag. Maar wat staat er onderin de tekst? Dat het beantwoorden van de vragen 10 minuten duurt. Pardon, dat vind ik alles behalve kort. De eerste argwaan is gewekt. Ach, ik waag het er toch maar op.

In het begin van de vragenlijst wordt keurig mijn persoonlijke situatie geschetst. Ik ben namelijk min of meer passief van provider gewisseld. Dat zit zo. Twee grote namen op het gebied van internet, TV en mobiele telefonie zijn gefuseerd namelijk Ziggo en Vodafone. Mijn provider Vodafone had ook abonnementen op het gebied van TV thuis en internet, maar Ziggo is veel groter op dat gebied. En dus heeft Vodafone die tak ondergebracht bij een andere aanbieder. Vooruit, ik gooi er nog een naam in: die aanbieder is T-Mobile. Op 15 maart 2017 ben ik van aanbieder gewisseld en alle drie de diensten (TV, internet en vast bellen) heb ik meegenomen. Ik neem dus een totaalpakket af voor een vaste prijs. Houd dit ook even goed in je achterhoofd, want dit is essentiële informatie.

Na een aardige reeks inleidende vragen, en ik schijn dus echt niet meer dan 10 minuten nodig te hebben voor het onderzoek, volgt uiteraard de NPS score. Steeds vaker vraag ik me af waarom we in Nederland deze door en door Amerikaanse techniek gebruiken om de loyaliteit van klanten te meten en daarbij verzuimen om het cijfer toe te laten lichten door de respondent. Daar ga ik verder niet op in nu, want dat heb ik al eens van me afgeschreven. Feit is dat ik het nut er niet echt van inzie van enkel het vragen naar de score.

Maar dan begint de ellende pas echt

Tot zover is er nog niet zo heel veel aan de hand, maar hierna gaat de vragenlijst en dus het klantonderzoek echt de mist in. Want iedere afzonderlijke dienst wordt nu onder de loep genomen. En dus krijg ik driemaal dezelfde vervelende batterij aan vragen voorgelegd. Dat is op zich al vervelend en irritant, want herhalingen in een vragenlijst zijn echt dodelijk. Als ik dan alleen een rapportcijfer moet geven, dan gaat het nog wel. Helaas zitten er ook volstrekt identieke en vervelende matrixvragen in de vragenlijst die niet volledig toepasbaar zijn op mijn situatie. Ik had namelijk een algeheel contract weet je nog, dat ik bovendien niet echt op eigen initiatief en dus actief heb afgesloten.

Dus wat voor een cijfer moet ik dan geven op Het afsluiten of wijzigen van het contract? Ik heb namelijk een verzamelcontract! En dan deze: Bij T-Mobile Thuis wordt mijn vraag of verzoek vaak in één keer opgelost. Ik heb geen vragen of verzoeken aan ze gehad. Vraag me er dan ook niet naar! Tot overmaat van ramp vragen ze me na een poos wanneer ik klant ben geworden bij T-Mobile. Dat weet je al en is al vermeld aan het begin van de vragenlijst! Net zoals al bekend is wanneer mijn contract afloopt. Slordig, slordig, slordig. Als klap op de vuurpijl volgt een vraag wat ik maandelijks voor iedere afzonderlijke dienst betaal. Dat weet ik toch niet? Ik betaal namelijk een vast bedrag per maand voor het gehele pakket. Dat zou ik dus online op moeten zoeken en daar heb ik weinig trek in. Ik vul dus maar wat fictieve bedragen in. En daarin zal ik vast niet de enige zijn. Weinig waarheidsgetrouwe informatie dus. Dit klantonderzoek moddert zo nog wel even door, bijvoorbeeld over premium zenders die ik afneem (dat weet je al, geen!) en zit echt zeer, zeer slecht in elkaar.

Geniepige tactiek toegepast voor de niet weters

Omdat ik tijdens het invullen van het klantonderzoek de inspiratie kreeg voor deze blog ben ik halverwege gestopt. Ten tijde van het schrijven vul ik de vragenlijst deels opnieuw in. En nu pas valt me iets op dat ik zeer geniepig vind. De vragenlijst is namelijk sturend. Waarom? Nou, bij diverse vragen is het mogelijk om weet niet als antwoordoptie te geven. Alleen hebben ze de antwoordtekst een andere, veel lichtere kleur gegeven. De overige antwoorden zijn gewoon in zwarte tekst weergegeven. Dit wekt de suggestie dat de weet niet optie niet werkt of niet actief is. En dus worden respondenten gemanipuleerd om toch maar voor een ander antwoord te gaan. Er is dus helaas sprake van bias in dit onderzoek. Het geeft niet volledig de werkelijkheid weer.

De geniepige manier om de antwoordoptie weet niet net even wat minder op te laten vallen

Misleiding weet niet

Dit was een wel heel slecht klantonderzoek, zo kan het echt niet

Aan het einde van het onderzoek blijf ik een beetje perplex achter. Dit had ik niet verwacht van een groot en bekend bureau. Feit is dat je ze zo een basis les marktonderzoek zou willen geven. De vragenlijst is namelijk alles behalve vriendelijk voor de respondent en gaat de opdrachtgever ook in onvoldoende mate echt waardevolle inzichten opleveren als de gegevens eenmaal geanalyseerd zijn. Echt een gemiste kans als je het mij vraagt. Met iets meer denkwerk en ook iets meer gedegen voorwerk bij het maken van de vragenlijst was dit echt een beter onderzoek geweest. Nu lijken alle verschillende soorten klanten die T-Mobile heeft op het gebied van TV, internet en vast bellen op een hoop gegooid te zijn en is een centrale vragenlijst aangeboden. Geen maatwerk, geen reeds bekende gegevens gekoppeld aan de vragen, niets van dat alles. Zo hoort het niet.

En zo voer je onderzoek onder klanten wel uit

Ik kan niet vaak genoeg herhalen dat dergelijk onderzoek niet uitgevoerd kan worden zonder hierbij de klant uit het oog te verliezen. Dat is namelijk de bron van al je waardevolle bedrijfsinformatie. Je zorgt er dus altijd voor dat die klant een aangename onderzoekservaring heeft en zijn of haar antwoorden snel en vakkundig kan geven.

Dat vereist het nodige denkwerk vooraf. Welke onderwerpen zijn van groot belang en moet je aansnijden in de vragenlijst en welke onderwerpen zijn leuk maar niet noodzakelijk. Laat die dan buiten de vragenlijst. Zo vraag je nooit te veel en is een klant geen uren kwijt met het geven van antwoorden.

En verder zorg je er altijd voor dat de vragenlijst precies passend is voor iedere klant. Dan maar meer routing in je vragenlijst, klantonderzoek is namelijk vaak online onderzoek, zodat de vragen ook echt op de klant van toepassing zijn.

Tot slot is het misschien leuk om ook nog iets terug te doen, al is het maar dat iemand kans kan maken op een kleine beloning. Je krijgt als organisatie namelijk een schat aan waardevolle inzichten terug, daar mag best iets tegenover staan toch?

Bovenstaande zaken zijn echt geen hogere wiskunde, zeker niet voor ervaren marktonderzoekers. Maar ze zorgen er wel voor dat slecht klantonderzoek verandert in goed klantonderzoek. En geloof me, onderzoek van gebrekkige kwaliteit levert echt nul komma nul waardevolle informatie op. Dan kun je het maar beter goed doen.

Goed verhaal? Deel het dan vooral!

Hopelijk heb je deze concrete case over slecht klantonderzoek met belangstelling gelezen. En hopelijk vind je deze blog zo leuk dat je het graag met anderen zou willen delen. Is dit het geval dan zeg ik: doen. Alle beetjes helpen om marktonderzoek naar een hoger niveau te tillen. Sta je bovendien op het punt om zelf op onderzoek uit te gaan? Lees dan vooral mijn blog met daarin 15 goede, handige en praktische marktonderzoek tips.

Tekortkomingen van de NPS Score

Tekortkomingen van de NPS Score

De NPS Score: immens populair, maar boordevol tekortkomingen

Door Eelco Markensteyn, eigenaar marktonderzoeksbureau EM Onderzoek

Leestijd: 6 tot 8 minuten

Toch even een korte inleiding over de NPS Score

We kennen het fenomeen NPS Score allemaal toch? Nee, niet iedereen is er volledig bekend mee? Goed, dan volgt nog even een hele korte introductie. De NPS Score is een in de Verenigde Staten bedachte manier om met één enkele vraag en dus een enkel cijfer de tevredenheid en vooral de loyaliteit van klanten te meten. Een aanvullende gedachte is bovendien dat het cijfer zelfs omzetgroei kan voorspellen. Is de NPS Score hoger dan het jaar ervoor? Dan zal de omzet ook wel gaan stijgen. Missie geslaagd.

En wat is die ene vraag dan waarmee je in een klap inzicht krijgt in hoe tevreden en loyaal die klanten dan zijn? Nou dat is de volgende:

Hoe waarschijnlijk is het dat u bedrijf x zult aanbevelen aan een vriend of collega?

Op een schaal van 0 tot 10 geven mensen aan hoe onwaarschijnlijk of waarschijnlijk is dat ze het bedrijf in kwestie zullen aanbevelen. Vervolgens zijn de mensen in te delen in drie groepen: Detractors (cijfer 0 tot en met 6), Passives (cijfers 7 en 8) en Promoters (cijfer 9 en 10). De NPS Score bereken je vervolgens door een simpel rekensommetje: het percentage Promoters minus het percentage Detractors. Is die uitkomst negatief? Dan is er werk aan de winkel. Positieve uitkomst? Dan kan de vlag uit. En ligt de score zelfs boven de 50, dan gaat het je helemaal voor de wind.

Een wereldwijde hit voor de NPS Score

In 2003 werd deze methode geïntroduceerd en sindsdien heeft het bedrijfsleven de net promoter score omarmd. Over de hele wereld. Is dat gek? Nee, niet echt eigenlijk. Het is toch de droom van ieder management dat met slecht een enkele vraag volstrekt inzichtelijk is hoe het bedrijf ervoor staat? En door het jaarlijks te meten, blijf je continue op de hoogte van de groei (of krimp) van de organisatie. Oh en omdat de concurrentie de NPS Score ook berekent en openbaar maakt, kun je ook nog eens heel eenvoudig monitoren hoe goed of slecht je het doet ten opzichte van je naaste concurrenten.

Nog meer voordelen? Jazeker, want een bedrijf hoeft zich niet te wagen aan een groot en duur marktonderzoek waarmee klanten de hemd van het lijf wordt gevraagd. In het aankooptraject dat een klant doorloopt, voeg je simpelweg een kleine stap toe en dat is het stellen van de hierboven weergegeven vraag. Die antwoorden verzamel je en klaar is kees. En wanneer het doen van klanttevredenheidsonderzoek wel vaste prik is binnen de organisatie, dan is het heel eenvoudig om die ene vraag ook nog even te stellen nietwaar.

Zo is de NPS Score gemeengoed geworden binnen vrijwel al het onderzoek dat wordt gedaan onder klanten. Een wereldwijde hit in onderzoeksland, want er is haast geen enkel klantgerelateerd onderzoek waar de NPS vraag niet in te vinden is.

Tekortkomingen ondanks de grote populariteit

Dat bedrijven zo’n fan geworden zijn van de NPS Score is misschien niet zo vreemd. Wel vind ik het ronduit gek dat tal van marktonderzoeksbureaus deze methode ook zijn gaan gebruiken als standaard meetinstrument voor de tevredenheid en loyaliteit van klanten. Onze beroepsgroep zou toch eerst datgene moeten doen waar we goed in zijn, namelijk op onderzoek uitgaan? Nee, in plaats daarvan bieden we bedrijven juist veel en vaak aan om ook voor hen de net promoter score in kaart te brengen. En het liefst ook ieder jaar, want daarmee blijft iemand mooi klant bij je. Vanuit het omzetstandpunt dus een te begrijpen keuze. Vanuit onze kennis en ervaring over goed marktonderzoek snap ik het niet. Er mankeert namelijk best wat aan de NPS Score en het is de hoogste tijd om die tekortkomingen een keer op een rijtje te zetten.

Waarom? Om ons (markt)onderzoekers aan het denken te zetten, om iedereen die ermee werkt te laten zien dat er behoorlijk wat mis mee is en om wellicht een klein stapje te zetten naar het einde van het toepassen van deze manier van tevredenheid en loyaliteit meten onder klanten. Het kan en moet namelijk anders en vooral beter.

Eerst even eerlijk zijn, want ik maak me er zelf ook schuldig aan

Ik moet ook wel even eerlijk zijn, want bij EM Onderzoek zijn we ook niet roomser dan de paus. Hier wordt, als de klant er expliciet om vraagt, ook een NPS Score gemeten. De meest logische verklaring hiervoor is dat die klant bij eerdere onderzoeken ook de score heeft laten meten en dus graag wil kunnen vergelijken met het verleden. Het is dan heel gemakkelijk en verleidelijk om dit mee te nemen in het nieuwe onderzoek. Immers valt, ondanks de gebreken die eraan kleven, wel te meten of de waardering en loyaliteit stijgt. Toch? Kleine moeite om die ene extra vraag dan ook te stellen. Daarom hebben we onlangs bij een internationaal marktonderzoek voor MS Mode ook gewoon de NPS Score berekend. Daarbij is tijdens het uitvoeren van het onderzoek wel duidelijk gemaakt aan MS Mode dat er wat ons betreft haken en ogen aan deze score zitten. Maar eigenlijk zouden we onze poot in de toekomst iets stijver moeten houden. De volgende tekortkomingen maken dat meer dan duidelijk.

Tekortkoming 1: een enkel cijfer zegt je niets over het waarom

Wanneer je vroeger op school een dikke voldoende kreeg, was er misschien geen tekst en uitleg nodig. Je had simpelweg zeer weinig fouten gemaakt. De paar fouten die je had gemaakt, kreeg je keurig te zien, zodat je hier weer wat van kon leren. Bij een slecht cijfer kreeg je sowieso te zien of te horen wat er verkeerd was gegaan en welke stappen je kon zetten om tot een hoger cijfer te komen. Maar bij de NPS Score staren we ons ineens blind op een enkel cijfer en plaatsen we noch de individuele beoordelingen noch de overall score in een bepaalde context. Terwijl daar juist de sleutel ligt tot een nog betere prestatie, verdere groei in omzet, nog meer tevreden klanten, of wat je verder ook wil bereiken binnen de organisatie. Dan kun je simpelweg niet varen op een enkel cijfer. Niet wanneer het slecht gaat met de organisatie en al helemaal niet wanneer de score positief uitvalt. Juist dan is het waarom belangrijk, zeker van de mensen die jou ondanks die goede score toch niet goed beoordeeld hebben. Want in die antwoorden schuilt de sleutel voor verdere groei als je het mij vraagt.

Tekortkoming 2: de NPS Score kan eenvoudig verkeerd gebruikt en misbruikt worden

Bedrijven die de NPS Score op regelmatige of incidentele basis meten, zullen vaak niet nalaten om de uitslag ervan te communiceren als deze positief uitvalt. Het kan namelijk voor potentiële klanten net het extra zetje zijn om ook echt klant te worden. Een goed cijfer wekt immers meer vertrouwen nietwaar. Hiermee wordt de score dus ook simpelweg een lokkertje. Dat ene getal zegt een potentiële klant alleen helemaal niets. En dus wordt niet de score, maar het gemiddelde cijfer gecommuniceerd. Het is alleen geen rapportcijfer! Dus moet het ook niet als zodanig worden gebruikt.

Nu is dit slechts een klein vergrijp en kan het weinig kwaad. Het wordt pas erg wanneer bedrijven niet alleen gaan vragen om een beoordeling, maar expliciet gaan vragen om een goede beoordeling. Dat gebeurt vaak als volgt: “Als u ons echt goed vindt, beoordeel ons dan met een 9 of 10“. Met dit foefje probeert men dan het zuinige karakter van de Nederlander te omzeilen en zo toch op een hoge NPS Score uit te komen. Echt onafhankelijk is dit niet en het geeft vanzelfsprekend niet de realiteit weer. Maar het kan nog erger. Hoe dan? Nou, door een concrete beloning te koppelen aan een goede beoordeling: “Als u ons een 9 of 10 geeft, dan krijgt u 10% korting op uw volgende aankoop“. Het gebeurt, echt waar. Om je kapot te schamen. Een onafhankelijk meetinstrument wordt zo een verkooptruc en dat is wat mij betreft een serieuze tekortkoming.

Tekortkoming 3: er wordt geen rekening gehouden met internationale culturen en verschillen

Ooit weleens een Amerikaan gehoord als hem of haar wordt gevraagd om ergens een mening over te geven? Wat is dan het meest gehoorde woord? Juist ja: great. Alles is great. Eten bij de Mac? Great, terwijl we heus wel weten dat je voor echt lekker eten niet naar deze fastfoodketen moet. Die ene honkbalwedstrijd? Great! En wat vinden ze van Amsterdam? Great! Disneyland? Great! Donald Trump? Great! Nou ja, dat laatste misschien niet.

Wat ik hopelijk duidelijk heb gemaakt, dat is dat een Amerikaan sneller geneigd is om in ieder geval te zeggen dat hij of zij iets positief vindt. Bovendien wordt goed presteren er met de paplepel ingegoten, wordt iemand die goed is in iets snel op een voetstuk geplaatst en vinden alle Amerikanen hun eigen land toch echt superieur in vergelijking met alle andere Westerse landen.

En wij Nederlanders? Wij zijn meer van doe maar gewoon, dan doe je al gek genoeg. Een voldoende is goed genoeg, dat hoeft echt niet altijd een 9 of 10 te zijn. Haal je wel zulke cijfers, dan is dat overdreven. En mensen die heel goed zijn in een bepaalde sport? Die worden al snel arrogant gevonden en moeten vooral normaal blijven doen. Dit is een beetje gechargeerd allemaal, maar er zit wel degelijk een kern van waarheid in. En die kern van waarheid zul je ook terug zien wanneer je een in Amerika bedachte methodiek in andere landen gaat toepassen. Wij geven bijvoorbeeld niet snel een 9 of 10 aan een bedrijf war we klant zijn. Maakt ons dat ontevreden? Nee natuurlijk niet! Maar een 8 is in onze optiek ook al een goed cijfer. En dat betekent dat een NPS Score in Nederland eigenlijk anders toegepast zou moeten worden dan in de VS, of in welk ander land dan ook. Maar ja, dat kan niet, want er is maar een manier om de score te bepalen.

Dit laatste is wellicht niet helemaal waar, want er wordt soms ook een Europese NPS Score toegepast. Die werkt als volgt. Ontevreden mensen geven een score van 0 tot en met 5, neutrale of passieve mensen een 6 of 7 en tevreden mensen een 8 of hoger. Is dit dan de oplossing? Nee, want binnen Europa zijn we per land verschillend. Hier valt echt geen overkoepelende en algemeen geldende methodiek voor klanttevredenheid op te plakken.

Conclusie: als je de NPS Score gebruikt, doe het dan goed

Er zijn echt meer tekortkomingen te bedenken, maar ik wil het allemaal niet te lang(dradig) maken. En nee, ik ga hier nu vervolgens niet roepen dat we massaal de NPS Score in de ban moeten doen. Ik ga hier nu wel roepen dat we wel een beetje moeten gaan nadenken als we met dit beestje aan de slag gaan. Daarom tot besluit enkele tips en adviezen over hoe je deze vraag wel van waarde kan laten zijn binnen je marktonderzoek.

  1. Vraag altijd op een neutrale en onafhankelijke manier naar iemands beoordeling. Blijf dus heel ver weg van aansporingen aan mensen die je onderzoek invullen dat ze vooral een 9 of 10 moeten geven. Zijn ze heel tevreden en geven ze dan toch een 7? Jammer dan, maar het is wel de werkelijkheid en geen gestuurd antwoord.
  2. Koppel de NPS Score vraag altijd aan een of meer vragen waarmee je het waarom achter iemands uiteindelijke cijfer kan achterhalen. Zonder die aanvullende informatie is de uiteindelijke score of uitslag een lege huls waar je eigenlijk helemaal niets concreets mee kan. Je weet immers niet wat de achterliggende gedachte is bij het geven van cijfer en dus blijft zonder waarom vraag altijd onduidelijk wat je unieke eigenschappen en verbeterpunten zijn.
  3. Ga eens niet NPS-sen, maar ga bij je onderzoek eens wat meer de diepte in. Stel een paar onderdelen of aspecten die binnen jouw organisatie prioriteit hebben en waarmee klanten veel te maken hebben centraal en vraag met enkele goed geformuleerde vragen naar de mening van je klanten. En als je dan toch een cijfer wenst te ontvangen, vraag dan gewoon naar een rapportcijfer. Werkt ook prima.
  4. Houd altijd in je achterhoofd dat er een groot verschil is tussen mensen die zeggen dat ze iets gaan doen en het daadwerkelijk actie ondernemen. Ik kan namelijk heel gemakkelijk roepen dat ik een bedrijf zal aanbevelen, maar of het er ook van zal komen dat is de grote vraag.
  5. En tot slot: staar je vooral niet blind op de uiteindelijke NPS Score die uit een onderzoek naar voren komt. Geen paniek als ie lager uitvalt dan de vorige keer. Je hebt immers gevraagd naar het waarom achter iemands beoordeling nietwaar. En dus weet je dankzij die aanvullende data zeer nauwkeurig wat de oorzaak is van die verandering, zodat je ofwel helemaal gerust gesteld zijn ofwel precies weet waar je aan moet werken om de waardering van klanten op te krikken.

Eigenlijk is het heel simpel. Wees kritisch, denk goed na en maak een gedegen afweging of en zo ja hoe je de NPS Score toepast in een onderzoek. Als je dat doet, wees dan in ieder geval eerlijk en neutraal in je vraagstelling en aanvullende uitleg. En verbind vooral geen al te grote conclusies aan enkel en alleen da cijfer. Pas als je de bijbehorende context kent, kan het van toegevoegde waarde zijn.

Wat is jouw mening over de NPS Score? Laat het weten en reageer!