Data-Driven? (Datagedreven?) Dacht het niet
De psychologische gewoonte die de meeste mensen missen en waarom deze gewoonte nodig is om datagedreven beslissingen te nemen
Vertaald door Dylan de Vries. Origineel door Cassie Kozyrkov.
Bedrijven huren massaal data scientists in om rigoureuze, wetenschappelijke, onbevooroordeelde, datagedreven beslissingen te nemen.
Maar dan nu het slechte nieuws: meestal zijn die beslissingen dat helemaal niet.
Als je een datagedreven beslissing wilt nemen, dan moeten de data — en niets anders — leidend zijn. Dat klinkt heel eenvoudig, maar toch gebeurt het in praktijk maar zelden. Dit komt omdat besluitvormers een essentiële psychologische gewoonte missen.
Datagedrevenheid ontmaskerd
Stel je voor dat je overweegt om iets online te kopen. Het artikel is ook te koop in een winkel aan de andere kant van de stad, maar je hebt geen zin om een hele pelgrimstocht af te leggen om het daar te kopen. Je vraagt je echter wel af of de online verkoper te vertrouwen is. Een snelle zoektocht levert relevante data op: de verkoper wordt gemiddeld beoordeeld met een 4.2 uit 5.
Zonder de basis van besluitvorming te beheersen zal je beslissing hoogstens datageïnspireerd, maar niet datagedreven zijn.
Je kunt die 4.2 niet gebruiken om je beslissing te nemen. Als je dat wel doet is het meteen game over! Zodra we het antwoord hebben gezien, kunnen we namelijk de vraag kiezen die ons het beste uitkomt. Als het eerste wat we doen rondneuzen in onze data is, dan is onze beslissing hoogstens wat ik datageïnspireerd noem.
Datageïnspireerd
Dat is waar we, als walvissen die plankton tegenkomen, in getallen rondzwemmen, een emotioneel omslagpunt bereiken en… beslissen. We gebruiken cijfers voor onze beslissing, maar die cijfers zijn niet de drijvende factor. De beslissing nemen we op basis van andere factoren.
De beslissing is eigenlijk al genomen voordat je überhaupt met de data in aanraking bent gekomen. Wat blijkt nou: mensen gaan selectief met data om om keuzes die we stiekem diep van binnen al hebben gemaakt te rechtvaardigen. We interpreteren, vaak zonder dat we het doorhebben, het bewijs op een manier die ons het handigst uitkomt. Psychologen hebben hier een mooie term voor bedacht: confirmation bias.
Veel mensen gebruiken data alleen maar om zich beter te voelen over beslissingen die ze al genomen hebben.
De vraag aanpassen aan het antwoord
Is 4.2/5 een goede score? Dat hangt van je onbewuste vooroordelen af. Als je het product heel graag wilt hebben dan spring je waarschijnlijk een gat in de lucht vanwege de hoge score. “Het is hoger dan 4.0!” Misschien doe je zelfs wel een statistische analyse om te laten zien dat 4.2 significant hoger is dan 4.0. (Zeker weten! Het is de p-waarde van je dromen.) In hetzelfde scenario zal iemand die het product liever bij een andere verkoper koopt de data heel anders interpreteren: “Waarom zou ik een verkoper met een score lager dan 4.5 vertrouwen?” Of misschien “Kijk nou eens naar al die 1-ster recensies. Dat zijn er veel te veel.” Klinkt dit je bekend in de oren?
Des te meer manieren er zijn om de data op te splitsen, des te meer de analyse een mogelijke voedingsbodem vormt voor confirmation bias.
Wiskundige complexiteit biedt geen oplossing, het maakt het juist alleen maar moeilijker om het probleem te zien. Hierdoor wordt namelijk dat wat net duidelijk was in het triviale voorbeeld, verborgen in een wirwar van prachtige Gaussverdelingen. En je kunt er ook niet zomaar van uitgaan dat een data scientist dit opmerkt. Hoe meer manieren er zijn om de data op te splitsen, hoe meer de analyse een mogelijke voedingsbodem vormt voor confirmation bias.
Het eindresultaat? Je gebruikt data om je beter te voelen over keuzes die je toch wel zou maken.
Een dure hobby
Wanneer de analyse complex is of de gegevens moeilijk te verwerken zijn, lijkt het hele proces soms wel een tragikomedie. Soms kost het een leger aan data scientists en engineers namelijk maanden om alles samen te voegen en te komen tot de 4.2. Na een ware uitputtingsslag presenteert het data science team triomfantelijk het resultaat: 4.2 uit 5! De berekeningen zijn nauwkeurig uitgevoerd. Het team heeft er dag en nacht aan gewerkt om het op tijd af te krijgen.
En wat denk je dat er dan gebeurt? Wat doen de stakeholders met het resultaat? Je raadt het al: net als bij de eerdere voorbeelden kijken ook zij naar de 4.2 door hun confirmation bias bril. Het maakt niet eens uit of de 4.2 accuraat is of niet — die arme data scientists hadden net zo goed gewoon een paar cijfers kunnen verzinnen en zichzelf al het harde werk kunnen besparen.
Als besluitvormers fundamentele vaardigheden missen, is er geen enkele wiskunde die dit kan oplossen. Jouw data science-team zal niet bijdragen aan datagedreven besluitvorming.
Data gebruiken om ons beter te voelen over keuzes die we toch wel zouden maken is een dure (en verspillende) hobby. Data scientist vrienden, als jouw organisatie wordt geleid door zo’n besluitvormer, stel ik voor dat je je beperkt tot het uitvoeren van alleen de makkelijkste en simpelste analyses om tijd en geld te besparen. Totdat de besluitvormers beter getraind zijn, levert jouw wiskundige gegoochel niet zoveel nuttigs op.
Het tegengif voor confirmation bias
Probleem: het staat je vrij om de doelpalen te verplaatsen nadat je de data hebt geanalyseerd. (En natuurlijk scoor je dan elke keer. Zo goed ben jou nou eenmaal.)
Oplossing: plaats de doelpalen van tevoren en weersta de verleiding om ze later te verplaatsen.
In andere woorden, de besluitvormer heeft wat huiswerk te doen voordat iemand de data analyseert.
Totdat de besluitvormers beter getraind zijn, levert jouw wiskundige gegoochel niet zoveel nuttigs op.
Een besluit inkaderen en het vaststellen van beslissingscriteria is een wetenschap op zich (daar zullen we verder op ingaan tijdens volgende blogs, het probleem dat we nu bespreken is slechts het topje van de ijsberg), maar in de tussentijd is een handige, snelle oplossing om al vooraf de beslissingscriteria te bepalen voor je data science project.
Oefening baart kunst
Onlangs was ik in Brooklyn met mijn vriendin Emma aan het winkelen. Terwijl ze me een mooie jurk laat zien, plukt ze aan het prijskaartje. “Hey, hoe duur is deze jurk?” vraagt ze. “Als de jurk minder dan $80 kost, dan koop ik ‘em.”
Dat is nou slim beslissen! In plaats van eerst de prijs bekijken en vervolgens haarzelf van een beslissing te overtuigen die ze eigenlijk toch al wou nemen, gebruikt ze data om haar beslissing te sturen. Vanuit een goed geoefende reflex overweegt ze hoe graag ze de jurk wil hebben en wat haar budget is, waarna ze de beslissingscriteria opstelt. Pas daarna bekijkt ze de data (de prijs van de jurk). Ze gebruikt data pas op het juiste moment en dat is iets dat jij ook kunt trainen.
Natuurlijk hoeft niet elke beslissing datagedreven te zijn. Dat weet Emma ook wel. Ze hoeft onbelangrijke beslissingen niet op die manier te maken. Maar Emma weet ook dat oefening kunst baart. Het is beter om er een gewoonte van te maken door veel te oefenen tijdens het nemen van onbelangrijke beslissingen, dan om ermee te worstelen op het moment dat je een belangrijke beslissing moet nemen.
Lering trekken uit onderhandelingen
Dit idee is niet nieuw. Je kunt het leren in veel verschillende cursussen, waaronder in cursussen over onderhandelen. Als je geen waarde hebt geplakt aan je BATNA (best alternative to a negotiated agreement ~ de geen deal optie) voordat je begint aan een onderhandeling, dan had je net zo goed op je voorhoofd kunnen schrijven “ik heb geen idee wat ik aan het doen ben”. Het principe is hetzelfde: je vogelt je beslissingsgrens uit tussen de standaard actie en het alternatief.
De oplossing is om al van tevoren je beslissingscriteria te bepalen.
Als standaardadvies voor onderhandelaars geldt dat het het beste is om al van tevoren alle mogelijke combinaties van voorstellen en je reacties daarop uit te denken. Anders wordt het voor een ervaren tegenstander wel erg makkelijk om misbruik van je te maken. En zelfs als we alle overtuigingstactieken van je tegenstanders even buiten beschouwing laten, dan nog is het beter om alles van tevoren uit te denken, want anders kan het zo zijn dat irrelevante, korte termijn factoren, zoals je bloedsuikerspiegel, je stemming, hoeveel de tegenpartij glimlacht en of de zon schijnt of niet, een onevenredig groot effect hebben op de uitkomst. Hetzelfde geldt voor data analyse — beeld je in dat de data met jou in onderhandeling is om je van gedachten te laten veranderen. De oplossing is om je antwoorden van tevoren uit te denken. Dus zorg ervoor dat je, bijvoorbeeld wanneer je de volgende keer onderhandelt over je salaris, van tevoren hebt nagedacht over de de beslissingscriteria (het salaris dat je wil verdienen) nog voordat je aanraking komt met de data (dus nog voordat je hoort welk salaris je baas je biedt).
Het is eigenlijk best makkelijk als je het eenmaal onder de knie hebt
Of je nu nadenkt over wat een getal voor je betekent voor of nadat je het hebt gezien, je moet er nog steeds over nadenken. Als je dit van tevoren doet, kun je enkele van de “bugs” in je menselijke programmering tegengaan. Dat levert je betere beslissingen en onderhandelprestaties op. Het opstellen van criteria voordat je data analyseert is een waardevolle gewoonte om te ontwikkelen en zelfs cruciaal als je datagedreven wilt werken. En om af te sluiten met wat goed nieuws: na veel oefening doe je het haast automatisch.
