Big Data.

Big data is de verzamelnaam voor gegevensverzamelingen die te groot of te snel zijn om met gewone software te verwerken. Denk aan de kassabonnen van een supermarktketen, de sensordata van een windpark, of het klikgedrag van miljoenen bezoekers.

Het woord wordt tegenwoordig ook gebruikt voor een spreadsheet met tienduizend regels, en dat is het niet.

Waar de term vandaan komt

De klassieke omschrijving gebruikt drie kenmerken, die alle drie met een v beginnen in het Engels. Ze komen uit een notitie van een marktanalist uit 2001, ruim voordat het woord big data gangbaar werd.

Volume. Zoveel gegevens dat één computer het niet meer aankan.

Snelheid. Ze komen continu binnen en moeten vaak direct verwerkt worden, niet 's nachts in een batch.

Variëteit. Niet netjes in rijen en kolommen, maar teksten, beelden, geluid en metingen door elkaar.

Later zijn er kenmerken bijgekomen: betrouwbaarheid, waarde, wisselvalligheid. Dat is vooral een teken dat de term door adviesbureaus is opgepakt. De eerste drie zeggen wat het is, de rest zegt wat je ervan zou moeten vinden.

Wanneer iets echt big data is

Er is een praktische grens die beter werkt dan elke definitie: past het op één machine, dan is het geen big data.

Een moderne server verwerkt tientallen miljoenen regels zonder klagen. Zolang je vraag te beantwoorden is met een database op één server, of zelfs met een spreadsheet, heb je gewone gegevens en heb je gewone gereedschappen nodig.

Het wordt pas anders als je de gegevens over meerdere machines moet verdelen omdat ze er anders niet op passen, of als er zoveel binnenkomt dat je niet kunt wachten tot het is opgeslagen voordat je het bekijkt. Dat is het punt waarop de techniek fundamenteel verandert en de kosten meelopen.

Die grens ligt hoger dan de meeste mensen denken. Een webshop met vijftigduizend bestellingen per jaar zit er niet in de buurt van.

Wat het voor kleine bedrijven betekent

Eerlijk gezegd: weinig. De meeste bedrijven hebben geen big data. Ze hebben een klantenbestand, een bestelgeschiedenis en wat websitecijfers, en dat past allemaal in een spreadsheet.

Dat is geen slecht nieuws. Met die gegevens valt namelijk veel te doen, en dat wordt zelden gedaan.

• Klanten sorteren op wat ze opleverden. Meestal levert een klein deel van je klanten het grootste deel van je omzet, wat neerkomt op de 80/20-regel.
• Kijken waar je klanten vandaan kwamen. Niet wat je denkt, maar wat er in je administratie staat.
• Uitrekenen wat een klant je waard is. Dat getal bepaalt wat een aanvraag mag kosten.
• Zien welke pagina's bezoek trekken en welke niets doen.
• Bijhouden hoeveel klanten terugkomen. Het getal dat het meest zegt en het minst wordt bijgehouden.

Dat is geen big data, dat is je eigen cijfers een middag serieus nemen. En het levert meer op dan welk platform dan ook.

Je gegevens staan verspreid en dat is het echte probleem

Bij vrijwel elk klein bedrijf zitten de gegevens in vier of vijf systemen die elkaar niet kennen. De boekhouding, de webshop, het mailprogramma, de agenda, en een spreadsheet die iemand ooit begon.

Dat is waarom simpele vragen zo lastig te beantwoorden zijn. Welke klanten uit je nieuwsbrief hebben vorig jaar iets gekocht. Wat leveren bezoekers uit advertenties op na twaalf maanden. Hoeveel van je omzet komt van klanten die je al kende.

De oplossing is zelden een nieuw systeem. Meestal is het één sleutel die overal hetzelfde is, en dat is bijna altijd het e-mailadres. Zorg dat elk systeem dat veld goed vult, en de meeste koppelingen worden een kwestie van twee bestanden naast elkaar leggen.

Wat je daarna wilt hebben is één overzicht per klant: wie hij is, wat hij kocht, wanneer voor het laatst, via welk kanaal hij binnenkwam. Dat overzicht kun je met een export en een draaitabel al maken. Wie zoiets één keer bouwt, kijkt anders naar zijn bedrijf.

Datakwaliteit gaat voor hoeveelheid

Meer gegevens verzamelen terwijl de bestaande gegevens rommelig zijn, maakt het probleem groter in plaats van kleiner.

Wat je in de praktijk tegenkomt: dezelfde klant drie keer met verschillende spelling, postcodes met en zonder spatie, telefoonnummers in vier notaties, bedragen met en zonder btw door elkaar, en velden die iemand ooit voor iets anders is gaan gebruiken dan waarvoor ze bedoeld waren.

Analyse op zulke gegevens levert precieze onzin op. Het getal ziet er overtuigend uit en klopt niet, en dat is gevaarlijker dan geen getal hebben.

Ruim daarom eerst op. Ontdubbelen, notaties gelijktrekken, verplichte velden verplicht maken in het systeem zelf. Dat is saai werk dat niemand leuk vindt en het is de voorwaarde voor al het andere.

Hoe het technisch werkt

De kern van big data is verdelen. Je kunt een berekening niet sneller maken dan één machine aankan, dus je knipt de gegevens in stukken, laat honderd machines elk een stuk doen en voegt de uitkomsten samen.

Dat idee is populair geworden met Hadoop, dat vanaf 2006 beschikbaar kwam en jarenlang de standaard was. Hadoop bestond uit een bestandssysteem dat gegevens over machines verdeelde en een rekenmodel dat het werk in twee stappen deed: eerst per stuk, dan samenvoegen.

Voor gegevens die continu binnenstromen werkt dat model slecht, omdat je dan wacht tot alles is opgeslagen. Daarvoor zijn stroomverwerkers gekomen, waarvan Kafka de bekendste is. Die behandelen gegevens als een rivier waar je op elk moment uit kunt lezen.

Er is nog een truc die veel verschil maakt: kolomopslag. Een gewone database slaat gegevens per rij op, wat handig is als je één klant zoekt. Analyse gaat bijna altijd over één kolom van alle rijen, bijvoorbeeld het gemiddelde bedrag van tien miljoen bestellingen. Door per kolom op te slaan leest de machine alleen dat ene stuk, en scheelt hij zichzelf het overgrote deel van het werk uit.

Wat er de afgelopen jaren veranderd is

Het beeld van big data als een zaal met eigen servers klopt niet meer. Hadoop is over zijn hoogtepunt heen. De twee grootste leveranciers eromheen fuseerden in 2019 en de markt schoof daarna richting cloudopslag die je per query betaalt.

Wat ervoor in de plaats kwam zijn opslagdiensten waar je gegevens naartoe stuurt en waar je met gewone databasetaal vragen op stelt, zonder dat je zelf iets beheert. Google heeft BigQuery, Amazon heeft Redshift, en daarnaast zijn er partijen als Snowflake en Databricks. Je betaalt voor opslag en voor de hoeveelheid gegevens die je vraag doorleest.

Daardoor is de volgorde omgedraaid. Vroeger bewerkte je gegevens voordat je ze opsloeg, omdat opslag duur was. Nu zet je alles eerst ruw in de opslag en bewerk je het daarna, omdat opslag goedkoop is en rekenkracht op afroep beschikbaar.

Voor kleine bedrijven is er één praktisch gevolg. Google Analytics kan sinds de overstap naar de vierde versie zijn ruwe gegevens gratis naar BigQuery sturen. Dat was in de oude versie alleen voor de betaalde variant weggelegd. Wie zijn websitegegevens langer wil bewaren dan de veertien maanden die Analytics zelf maximaal aanhoudt, heeft daar nu een route voor. De oude versie stopte in juli 2023 met meten en de gegevens daarin zijn een jaar later verwijderd, dus wie dat niet had geregeld is die geschiedenis kwijt.

Van gegevens naar een grafiek

Een tabel met een miljoen regels zegt niemand iets. Een lijn die twee jaar omlaag loopt wel.

Voor kleine bedrijven is Looker Studio van Google de gemakkelijkste route, gratis en gekoppeld aan Analytics, Google Ads en Google Sheets. Het heette tot oktober 2022 Data Studio, dus handleidingen onder die naam gaan over hetzelfde product. Power BI van Microsoft is de gebruikelijke keuze zodra er boekhouding bij komt, en Tableau kom je vooral bij grotere organisaties tegen.

Waar het misgaat: een dashboard met twintig grafieken dat na twee weken door niemand meer wordt geopend. Dat komt doordat er niet één vraag onder ligt.

Bouw daarom per vraag één beeld en zet er de waarde bij die je verwacht. Vier grafieken die je elke maandag bekijkt zijn meer waard dan een scherm vol. Welke getallen dat zijn, hangt af van wat je stuurt; daarover gaat het artikel over kengetallen.

Waar het wel echt wordt gebruikt

Bij verzekeraars die risico's inschatten, bij vervoerders die routes plannen, bij energiebedrijven die vraag voorspellen, bij ziekenhuizen die patronen in onderzoeksgegevens zoeken, en bij netbeheerders die de belasting van het net per kwartier volgen.

In Nederland is er nog een categorie die je makkelijk vergeet: de overheid. Het CBS, het Kadaster, het KNMI en de gemeenten produceren enorme hoeveelheden gegevens, en een flink deel daarvan is openbaar. Via StatLine en data.overheid.nl haal je cijfers over bevolking, bedrijvigheid en wonen per gemeente op. Voor een bedrijf dat wil weten waar zijn klanten zitten, is dat bruikbaarder dan welke aankoop dan ook.

En bij de platforms zelf. Elke aanbeveling die je krijgt van een webshop of een streamingdienst komt uit dit hoekje, en hoe dat werkt staat bij aanbevelingsalgoritmen.

De grootste groei zit in gegevens van apparaten. Sensoren in machines, in gebouwen, in voertuigen en in meters sturen continu metingen door. Dat is het internet of things, en het is de reden dat de hoeveelheid gegevens harder groeit dan het aantal mensen dat ze produceert.

De privacykant

Dit is geen bijzin. Zodra het over mensen gaat geldt de AVG, en die kent uitgangspunten die haaks staan op de reflex om alles te bewaren.

Je mag alleen verzamelen wat je nodig hebt voor een vooraf bepaald doel. Je mag het niet zomaar voor iets anders gebruiken dan waarvoor je het kreeg. En je mag het niet langer bewaren dan nodig. Die drie regels staan in artikel 5 en ze zijn de kern van de wet.

Daar komen bij grootschalige analyse nog twee dingen bij. Bij het stelselmatig volgen van mensen of het grootschalig verwerken van gevoelige gegevens moet je vooraf een gegevensbeschermingseffectbeoordeling doen, in de wandelgangen een DPIA. En een besluit dat alleen door een systeem wordt genomen en dat gevolgen heeft voor iemand, bijvoorbeeld een afwijzing, mag in beginsel niet zonder menselijke tussenkomst.

Praktisch: bepaal per soort gegeven waarom je het hebt en hoe lang je het houdt. Ruim de rest op. Een database vol gegevens die je niet gebruikt is een risico zonder opbrengst.

Waar de gegevens staan en wie erbij kan

Bewaren brengt een verplichting mee. Je moet weten waar de gegevens fysiek staan, wie erbij kan en wat er gebeurt als het misgaat.

Voor een klein bedrijf komt dat neer op vier dingen: een verwerkersovereenkomst met elke partij die namens jou gegevens verwerkt, toegang alleen voor mensen die het nodig hebben, een back-up die je ook echt eens hebt teruggezet, en versleuteling van laptops en telefoons. Een datalek meld je binnen 72 uur bij de Autoriteit Persoonsgegevens als er kans op schade is. Hoe je de technische kant afdekt staat bij je website beveiligen.

Wat er in Nederland is misgegaan

Nederland heeft twee zaken waar iedereen die met gegevens werkt iets van kan leren, en ze zijn allebei door de rechter of de toezichthouder afgekeurd.

In februari 2020 oordeelde de rechtbank in Den Haag dat SyRI in strijd was met het Europees Verdrag voor de Rechten van de Mens. SyRI koppelde gegevens van verschillende overheidsdiensten om fraude op te sporen, zonder dat duidelijk was hoe het systeem tot een risicomelding kwam en zonder dat betrokkenen dat konden controleren. Het gebrek aan inzichtelijkheid was doorslaggevend.

Bij de Belastingdienst ging het over de toeslagen. Er werd gewerkt met risicoprofielen waarin onder meer nationaliteit meewoog, en met een lijst van signalen waarop mensen jarenlang bleven staan. De Autoriteit Persoonsgegevens legde daarvoor in 2021 en 2022 boetes op van miljoenen euro's.

De les is voor elk bedrijf dezelfde. Een model dat een oordeel over mensen velt, moet uit te leggen zijn. Kun je niet vertellen waarom iemand eruit is gepikt, dan heb je geen analyse maar een probleem.

Nieuwe Europese regels

Er is de laatste jaren wetgeving bij gekomen die verder gaat dan de AVG.

De AI-verordening is op 1 augustus 2024 in werking getreden. De verboden toepassingen gelden sinds begin 2025, het grootste deel van de verplichtingen voor systemen met een hoog risico geldt sinds 2 augustus 2026. Voor de meeste kleine bedrijven betekent het weinig, tenzij je zelf een systeem inzet dat over mensen beslist, bijvoorbeeld bij sollicitaties of kredietwaardigheid.

Daarnaast is er de Data Act, die sinds september 2025 van toepassing is. Die regelt wie er bij de gegevens mag die apparaten produceren. Als jij een machine of een voertuig gebruikt, heb je recht op de gegevens die het ding over jouw gebruik verzamelt. Dat is voor de installatiebranche en de industrie interessanter dan het klinkt.

De Data Governance Act, van kracht sinds 2023, maakt het makkelijker om gegevens van de overheid en van andere partijen te hergebruiken. Dat is de kant waar de open data van CBS en het Kadaster vandaan komt.

Waar de analyse misgaat

Verzamelen zonder vraag. Alles opslaan omdat het ooit van pas kan komen levert een berg op waar niemand in kijkt, plus een bewaartermijn die je niet kunt uitleggen.

Verband verwarren met oorzaak. Twee dingen die samen bewegen hoeven niets met elkaar te maken te hebben. Je omzet en het aantal inschrijvingen op je nieuwsbrief lopen in december allebei op, en dat komt door de feestdagen en niet door elkaar.

Vooroordelen overnemen. Een model dat leert van gegevens uit het verleden herhaalt de scheefheid die daarin zat. Bij beslissingen over mensen is dat een echt probleem, zoals de Nederlandse voorbeelden laten zien.

Alleen kijken naar wie er nog is. Je tevredenheidscijfers gaan over de klanten die bleven. De klanten die weggingen tellen niet mee, en juist daar zit het antwoord. Reken daarom altijd terug naar het volledige bestand, ook naar de regels die je liever overslaat.

Te veel groepen maken. Wie zijn klanten in twintig segmenten hakt, vindt in elk segment wel iets. Dat iets is meestal toeval. Houd het bij een paar groepen die je ook echt anders gaat behandelen, zoals bij doelgroepsegmentatie staat.

Waar je begint

Niet bij een platform. Bij een vraag.

Kies één ding dat je wilt weten, zoek uit welke gegevens je daarvoor nodig hebt, en kijk of je die al hebt. Bij de meeste bedrijven is het antwoord ja, en staat het in een systeem waar niemand ooit in kijkt.

Werk daarna van klein naar groot. Beantwoord de vraag één keer met de hand in een spreadsheet. Blijkt het antwoord nuttig, dan pas automatiseren. Blijkt het niets, dan heb je een middag verloren in plaats van een project.

En hou vast wat je bouwt. Eén bestand met de omzet per klant per jaar, elk kwartaal bijgewerkt, is over drie jaar het waardevolste bestand dat je hebt. Er is geen leverancier die je dat kan verkopen.

Veelgestelde vragen over big data

Wat is big data precies?

Gegevensverzamelingen die te groot, te snel of te ongestructureerd zijn om met gewone software en één machine te verwerken. De praktische toets: moet je de gegevens over meerdere computers verdelen om er iets mee te kunnen, dan is het big data. Past het in een database op één server, dan niet.

Wat zijn de drie v's van big data?

Volume, velocity en variety, in het Nederlands hoeveelheid, snelheid en verscheidenheid. Volume gaat over de omvang, snelheid over het tempo waarin gegevens binnenkomen en verwerkt moeten worden, verscheidenheid over het feit dat het niet allemaal keurige rijen en kolommen zijn. Later zijn er meer v's aan toegevoegd, zoals betrouwbaarheid en waarde.

Heeft mijn bedrijf big data?

Vrijwel zeker niet. Een klantenbestand, een bestelgeschiedenis en websitecijfers zijn gewone gegevens, ook als het er honderdduizenden regels zijn. Dat is geen tekort: met die gegevens valt meer te doen dan de meeste bedrijven eruit halen, en daar heb je geen bijzondere techniek voor nodig.

Wat is het verschil tussen big data en data-analyse?

Big data zegt iets over de omvang en de aard van de gegevens, data-analyse over wat je ermee doet. Je kunt prima analyseren zonder big data, en dat is wat de meeste bedrijven zouden moeten doen. Andersom kan ook: veel gegevens hebben en er niets uit halen, wat vaker voorkomt.

Wat is een datameer?

Een opslagplaats waar je gegevens ruw in zet, in de vorm waarin ze binnenkwamen, zonder ze eerst te ordenen. Het verschil met een datawarehouse is dat je daar juist gestructureerd opslaat, klaar voor gebruik. Een datameer is goedkoper en flexibeler, en verandert zonder discipline in een moeras waar niemand meer weet wat er staat.

Welke tools worden gebruikt voor big data?

Voor opslag en analyse zijn dat tegenwoordig vooral clouddiensten als BigQuery, Redshift, Snowflake en Databricks. Hadoop en Spark kom je nog tegen in bestaande systemen. Voor gegevens die continu binnenstromen wordt Kafka gebruikt, voor het tonen van uitkomsten Looker Studio, Power BI of Tableau.

Is Google Analytics big data?

Voor Google wel, voor jou niet. Wat je in je eigen account ziet, zijn opgetelde cijfers over jouw site. Wil je de ruwe gebeurtenissen bewaren en zelf doorrekenen, dan kun je die vanuit de vierde versie gratis naar BigQuery laten sturen. Dat is de moeite waard als je langer terug wilt kijken dan de veertien maanden die Analytics zelf aanhoudt.

Mag ik alle gegevens over mijn klanten bewaren?

Nee. Je mag verzamelen wat je nodig hebt voor een doel dat je vooraf hebt bepaald, en je mag het niet langer bewaren dan daarvoor nodig is. Voor de administratie geldt de fiscale bewaarplicht van zeven jaar, maar dat is een reden om facturen te bewaren en geen vrijbrief voor klikgedrag of e-mailverkeer.

Wanneer heb ik een DPIA nodig?

Bij verwerkingen met een hoog risico, zoals het stelselmatig en grootschalig volgen van mensen, het grootschalig verwerken van gevoelige gegevens, of het beoordelen van mensen met een geautomatiseerd systeem. De Autoriteit Persoonsgegevens heeft een lijst met gevallen waarin het altijd moet. Voor een gewone webshop of dienstverlener is het meestal niet aan de orde.

Wat kost het om iets met big data te doen?

Bij clouddiensten betaal je voor opslag en voor de hoeveelheid gegevens die je vraag doorleest, dus de kosten hangen af van hoe je het inricht. Het verraderlijke is dat een slecht geschreven vraag die elk uur draait een rekening kan opleveren waar niemand op rekende. Zet daarom een uitgavenlimiet en waarschuwingen aan voordat je iets aanzet.

Waar vind ik openbare gegevens over Nederland?

Bij het CBS via StatLine, op data.overheid.nl, bij het Kadaster en bij het KNMI. Daar staan cijfers over bevolking, huishoudens, bedrijvigheid, wonen en weer, vaak tot op gemeente- of buurtniveau. Voor het onderbouwen van een keuze over een vestigingsplaats of een doelgroep is dat bruikbaarder dan wat je koopt.

Wat is het verschil tussen big data en kunstmatige intelligentie?

Big data is het materiaal, kunstmatige intelligentie een manier om er patronen uit te halen. Modellen leren van grote hoeveelheden voorbeelden, dus zonder gegevens valt er niets te leren. Andersom kun je met veel gegevens ook gewoon rekenen en tellen, en voor de meeste vragen is dat genoeg.

Hoe voorkom ik dat mijn analyse de verkeerde kant op wijst?

Schrijf je vraag op voordat je gaat kijken, en bedenk vooraf welke uitkomst je zou overtuigen. Wie in de gegevens gaat zoeken tot er iets opvalt, vindt altijd iets. Controleer daarna of het verband ook standhoudt in een andere periode, want dat filtert het meeste toeval eruit.

Hoeveel gegevens heb ik nodig voordat analyse zin heeft?

Voor het volgen van je eigen bedrijf zijn een paar honderd klanten of bestellingen al genoeg om patronen te zien. Voor het toetsen van kleine verschillen, zoals twee versies van een pagina, heb je veel meer nodig, want anders meet je ruis. Bij twijfel geldt: hoe kleiner het verschil dat je wilt aantonen, hoe meer waarnemingen je nodig hebt.