Op 13 mei bezocht ik een college van Alberto Caïro in Amsterdam met de titel Visual Trumpery. Alberto is, zoals jullie misschien weten, een bekende naam in het datavisualisatie vakgebied. Met zijn Visual Trumpery Tour reist hij de hele wereld over en was hij dus afgelopen maandag in Amsterdam op het hoofdkantoor van ABN Amro.

Hieronder lees je over de missie van Alberto Cairo en over de zes checks die je zelf kunt doen om de kwaliteit van een grafiek te beoordelen.

Trumpery

De titel deed mij vermoeden dat het college een politieke inslag zou hebben. Maar niets was minder waar. Trumpery heeft niets te maken met de grillen van de Amerikaanse president. Trumpery is een bestaand Engels woord en betekent: waardeloze onzin. Alberto heeft het zijn missie gemaakt om makers èn lezers van grafieken te wapenen tegen Visual Trumpery, ofwel grafieken die onzin verkopen.

Datavisualisatie als universele taal

Datavisualisatie heeft de potentie om een universele taal te worden. Je ziet overal datavisualisaties. In het nieuws en op social media. De infographics en grafieken vliegen je om de oren. Ondertussen wordt het gat tussen het grote publiek en de community van datavisualisatie professionals steeds groter. Heel veel mensen kunnen een simpele datavisualisatie bijvoorbeeld een puntendiagram, lijngrafiek of kolomdiagram niet goed interpreteren. Maar visualisaties hebben wel een grote aantrekkingskracht op mensen. Dit is waar Alberto zich zorgen over maakt. Zo blijkt bijvoorbeeld uit onderzoek dat rapporten met grafieken erin meer verleiden dan rapporten zonder grafieken erin. Dit geldt zelfs als de inhoud van de grafiek niets te maken heeft met de inhoud van het rapport. Het is dus belangrijk dat je de kwaliteit van een datavisualisatie zelf kunt inschatten.

Hoe jij je kunt wapenen tegen Visual Trumpery, leg ik uit aan de hand van vijf checks.

1. Check de bron

Het eerste wat je doet als je een visualisatie ziet die je interessant vindt, is het bekijken van de bron. Staat de bron er niet bij? Dan gaan de eerste alarmbellen al af. Staat de bron er wel bij, bekijk dan het artikel, het rapport of de data op basis waarvan de datavisualisatie is gemaakt. Probeer je ook eens voor te stellen wat je zelf aan data verwacht te zien in deze bron. Zie je terug wat je verwacht had op basis van je eigen redenering? Op deze manier beoordeel je of de gebruikte bron betrouwbaar is.

2. Check je aannames

De tweede vraag is wat er gebeurt in je hoofd als je naar de grafiek kijkt? Misschien ben je al bekend met de term confirmation bias, de voorkeur voor bevestiging. Wij mensen zoeken constant naar patronen. Als we een patroon zien dat betekenis lijkt te hebben, gaan we conclusies trekken en verzinnen we een verhaal eromheen. Daarna streven we naar het bevestigen van dit verhaal, niet naar het ontkrachten ervan. Het is belangrijk om je hiervan bewust te zijn. De grafiek laat zien wat de grafiek laat zien. Niets meer en niets minder.

3. Check de verhoudingen

Stap drie is het bekijken van de verhoudingen waarin de data is weergegeven. Kloppen de verhoudingen? Is die 30% die je ziet ook veel kleiner weergegeven dan de groep van 70% ernaast? Worden de twee lijnen wel met dezelfde maat gemeten? Verkeerde verhoudingen kunnen je totaal verkeerde conclusies laten trekken.

4. Check de hoeveelheid data

De volgende stap is kijken naar het detailniveau van de data. Wordt alle data op één hoop gegooid en zie je daar bijvoorbeeld een gemiddelde van? Dan kunnen er uitschieters zijn die een grote rol spelen. De grafiek is dan te simpel weergegeven en had meer nuance nodig om het verhaal goed te vertellen. De andere kant op komt ook veel voor. Er wordt een detail groot uitgelicht, waardoor een effect heel groot lijkt, maar bij het bekijken van het grote geheel is het effect te verwaarlozen.

5. Check of onzekerheid een rol speelt

Mensen denken vaak dat data de waarheid vertelt en objectief is. Dat is een mythe! Data is altijd bevooroordeeld, incompleet en onzeker. En dat is prima. Mits je hiervan bewust bent bij het bekijken van een datavisualisatie. Is onzekerheid in deze datavisualisatie bepalend voor het verhaal, bijvoorbeeld bij de voorspelling van een orkaan? Dan is het belangrijk dat deze ook wordt uitgelegd. De toelichting zou dan moeten zijn: twee van de drie orkanen gaan via het aangegeven zone het land over. Een van de drie keren volgt de orkaan een pad buiten de aangegeven zone. Als deze onzekerheid er niet bij wordt vermeld, kan dat grote gevolgen hebben.

De moraal van het verhaal

Als lezer van grafieken en datavisualisaties, ga er dan niet vanuit dat je met een vluchtige blik een datavisualisatie kunt begrijpen. Neem er de tijd voor en doe de vijf checks: bron, aannames, hoeveelheid data, onzekerheid. Zo beoordeel jij zelf de kwaliteit. En als je dan een visualisatie wilt delen of retweeten, kun je bewust kiezen voor die visualisaties die ook echt hout snijden en help je Alberto in zijn strijd tegen Visual Trumpery.

Zelf luisteren naar Alberto Caïro? Een opname van een van Alberto’s Visual Trumpery Tours is ook terug te vinden op YouTube.

Meer weten of de boeken die Albero Cairo schreef over datavisualisatie, waaronder zijn must-read The Functional Art, kijk dan bij mijn boekentips.