Q:
Welke omstandigheden hebben geleid tot de opkomst van het big data-ecosysteem?
EEN:Er zijn veel factoren die hebben bijgedragen aan de opkomst van het big data-ecosysteem van vandaag, maar er is een algemene consensus dat big data tot stand is gekomen vanwege een reeks hardware- en softwareontwerpen die gewoon toestonden dat big data bestond.
| Webinar: Big Iron, Meet Big Data: Mainframe-gegevens bevrijden met Hadoop & Spark Registreer hier |
Een conventionele definitie van big data is als volgt: datasets die voldoende groot en complex zijn om gemakkelijk iteratief beheer, of handmatig beheer, te trotseren. Grote gegevenssets worden vaak geïdentificeerd als gegevenssets die niet in een eenvoudig database-netwerk passen, omdat hun analyse te veel werk vereist van de kant van de servers die de gegevens verwerken.
Met dat in gedachten is een groot deel van wat big data heeft gecreëerd het idee dat we kennen als de wet van Moore, of het verdubbelen van transistors op een circuit om de twee jaar, waardoor steeds kleinere apparaten voor hardware en gegevensopslag worden gecreëerd (evenals krachtigere microprocessors) . In combinatie met de wet van Moore, en waarschijnlijk daardoor, nam de rekencapaciteit van toegankelijke softwaresystemen toe, tot zelfs het punt waarop zelfs personal computers veel grotere hoeveelheden gegevens konden verwerken, en bedrijfs- en voorhoedesystemen in staat waren om datagroottes aan te kunnen ondenkbaar slechts enkele jaren daarvoor. Persoonlijke systemen zijn verplaatst van kilobytes naar megabytes en vervolgens naar gigabytes, in een voor consumenten transparant proces. Vanguard-systemen zijn verplaatst van gigabytes naar terabytes en petabytes, en op orden van grootte zoals zetabytes, op manieren die veel minder transparant waren voor de gemiddelde burger.
Een andere stap voorwaarts met big data waren veranderingen in de manier waarop handlers datasets verwerkten. In plaats van lineaire verwerking door middel van een conventioneel relationeel databaseontwerp, begonnen handlers tools zoals Apache Hadoop en gerelateerde hardwarebeheerstukken te gebruiken om knelpunten in gegevensprocessen te elimineren.
Het resultaat is de big data-wereld waarin we leven, waar gigantische datasets worden opgeslagen en onderhouden in datacenters, en in toenemende mate worden benaderd door een breed scala aan technologieën voor een breed scala aan toepassingen. Van commercie tot ecologie, van openbare planning tot medicijnen, big data wordt steeds toegankelijker. Ondertussen verleggen overheidsinstanties en andere grotere organisaties nog steeds de grenzen van big data-groottes en implementeren ze nog geavanceerdere oplossingen.
