Met al het geroezemoes over enorme NSA-datacenters met gigantische hoeveelheden databits over ons privéleven, is er één ding waar nog niet veel over is gesproken, althans op CNN. Het gaat om een technisch probleem dat is ontstaan, samen met cloudtechnologie, big data en de indrukwekkende fysieke dataopslagcentra die nu over de hele wereld worden gebouwd. Dus wat is het? Welnu, ongeacht wie een van de gigantische IT-systemen beheert die deze faciliteiten uitvoeren, er is behoefte aan softwaresystemen die al die gegevens helpen snel in en uit de pijplijn te komen. Die behoefte is een van de meest interessante IT-vragen of puzzels waarmee professionals tegenwoordig worden geconfronteerd.
Zoals veel experts aangeven, gaat de extreme vraag naar gegevensverwerking van vandaag veel verder dan de traditionele benaderingen. Simpel gezegd, het gebruik van eenvoudige databasestructuren en tools zoals de SQL-queryinterface levert onvoldoende verwerkingskracht of functionaliteit op voor bijvoorbeeld de eigen systemen die zich de afgelopen jaren hebben ontwikkeld. De archieven van de grote technologiebedrijven van vandaag hebben extreem schaalbare technologie nodig. Ze hebben hulpmiddelen voor gegevensverwerking nodig die invoer en uitvoer tot een veel hoger volume kunnen leiden dan wat een enkele server kan vergemakkelijken. Ze hebben oplossingen nodig die snel kunnen worden uitgebreid voor groei, oplossingen met complexe niveaus van kunstmatige intelligentie, oplossingen die zijn ontworpen voor eenvoudig beheer door een IT-afdeling.
De vraag is, hoe overwinnen bedrijven en overheidsinstanties de beperkingen van het traditionele gegevensverwerkingspad? Hier zullen we een veelbelovende optie bekijken: software die big data verwerkt en het beheer van meerdere datacenters.
