Big Data wordt real time

Big Data wordt wel de goudader van het bedrijfsleven genoemd, maar echt gedolven wordt er nog nauwelijks. 91 procent van de respondenten van een onderzoek van Dimensional overweegt te investeren in Big Data, maar slechts vijf procent doet het, en elf procent heeft weinig meer dan een proefproject lopen.

De belangrijkste reden is dat Big Data nog steeds te moeilijk is om te gebruiken, als men al de juiste data heeft om te analyseren.

Justin Langseth, CEO van Zoomdata, ziet echter een heel nieuwe toekomst voor Big Data. Het verschil gaat hem zitten in real data versus bulkverwerking. Technieken als Hadoop, MapReduce en Spark verwerken data als batches, anders gezegd: in eenheden. Een beetje als de koe die een grote hap uit een baal stro neemt en daar enige tijd op gaat kauwen.

Maar het is natuurlijk beter als data van bijvoorbeeld het gedrag van websitebezoekers in real time kan worden geanalyseerd, een beetje zoals koersen van de beurs. Dat dit nog niet het geval is komt deels door de historie: vroeger stond bedrijfsdata op schijf of op tape. Zo’n tape moest dan ook vaak worden verplaatst, van de ene machine naar de andere. Veel technieken gaan nog uit van deze architectuur, noodgedwongen omdat data wordt vergaard door oudere (legacy) systemen.

Met moderne architecturen als Kafka en Kinesis en opslagsystemen als MongoDB, Cassandra, Hbase en DynamoDB kan data echter wel degelijk worden gestreamed, net als muziek bij Spotify. En diezelfde techniek kun je ook gebruiken voor historische data, door die stream terug te spoelen, als bij een videorecorder.

Daarover wordt nog wel verschillend gedacht. Zo is er de school van de Lambda Architectuur, die vindt dat je batch(ed) en real time data beter gescheiden kunt houden, ook al zijn ze te combineren.

Langseth ziet data als water of als stroom. ‘Je kunt water in flessen stoppen, en elektriciteit in batterijen. Voor een merk als Dom Perignon is water in flessen een oplossing, maar je wilt eigenlijk je water of je stroom uit een pijp laten komen.’

Zijn bedrijf claimt als enige analyses op zo’n pijp los te kunnen laten, met dynamische grafieken als resultaat. De Business Intelligence oplossing die zijn bedrijf levert, maakt als het ware een ruwe schets van binnenkomende data, om die daarna scherper en gedetailleerder te maken, als een cameralens die wordt scherpgesteld.