De evolutie van big data

In de vroege jaren 2000 was het duidelijk dat er een grote behoefte was aan innovatie op het gebied van gegevens. Beperkingen op wat bedrijven konden doen met hun data frustreerden leidinggevenden en verminderden de efficiëntie enorm. Veel bedrijven hebben enorme hoeveelheden informatie opgeslagen, maar konden deze eenvoudig niet in hun voordeel beheren, analyseren of manipuleren. Het is deze groeiende druk die plaatsmaakte voor de grens van big data.

In 2003 creëerde Google MapReduce, een gegevensapplicatie waarmee het bedrijf in korte tijd informatie over zijn zoekopdrachten op duizenden servers kon verwerken en analyseren. Zowel schaalbaar als aanpasbaar, stelde het programma Google in staat om duizenden datataken in slechts enkele minuten uit te voeren, wat de productiviteit verbeterde en de waargenomen grenzen opnieuw definieerde over wat met gegevens kon worden gedaan. Bijna 10 jaar later is big data een centraal principe van informatietechnologie geworden. De verregaande reikwijdte en mogelijkheden hebben het gegevensbeheer op de werkplek fundamenteel veranderd. Maar wat is de aanleiding geweest voor deze evolutie en hoe zullen big data precies de toekomst beïnvloeden? We dachten dat je het nooit zou vragen. (Voor wat achtergrondinformatie over big data, bekijk Big Data: hoe het wordt vastgelegd, gemalen en gebruikt om zakelijke beslissingen te nemen.)

Antwoorden zoeken op Big Data-vragen

Het mooie van MapReduce was de manier waarop het zeer complexe taken vereenvoudigde. Communicatie kan op verschillende machines worden beheerd, systeemfouten kunnen worden aangepakt en invoergegevens kunnen automatisch worden georganiseerd, een proces dat kan worden gevolgd door personen die niet langer zeer technische vaardigheden nodig hadden. Door gegevensverwerking niet alleen mogelijk, maar ook benaderbaar te maken, inspireerde Google een culturele verschuiving in gegevensbeheer. Het duurde niet lang voordat duizenden grote bedrijven MapReduce gebruikten voor hun gegevens.

Maar er was een probleem: MapReduce was gewoon een programmeermodel. Hoewel het de basis van gegevensverwerking vergemakkelijkte, was het zelf niet het antwoord op bestaande datatekortkomingen; het was slechts een broodnodige stap in de goede richting. Bedrijven hadden nog steeds behoefte aan een systeem dat aan hun unieke gegevensbehoeften kon voldoen en verder ging dan de essentie van gegevensbeheer. Kortom, de technologie die nodig is om te evolueren.

Ga Hadoop binnen

Voer Hadoop, een open-source framework-software gemaakt door verschillende programmeurs, waaronder Doug Cutting. Waar MapReduce eenvoudig en breed was, bood Hadoop een verfrissende specificiteit. Bedrijven konden hun eigen op maat gemaakte applicaties ontwerpen die aan de behoeften van de gegevens voldoen op een manier die geen andere software kon, en het was over het algemeen compatibel met andere bestandssystemen. Een bedrijf met getalenteerde programmeurs zou een bestandssysteem kunnen ontwerpen dat unieke taken zou uitvoeren met gegevens die eerder onbereikbaar leken. Misschien was het leukste eraan dat ontwikkelaars applicaties en programma's met elkaar zouden delen die zouden kunnen worden uitgelegd en geperfectioneerd.

Door een dergelijke belangrijke bron te democratiseren, werd Hadoop een trend. Veel grote bedrijven, vooral zoekmachines, vonden immers dat ze het al tientallen jaren nodig hadden! Het duurde niet lang voordat reuzen van zoekmachines zoals Yahoo de implementatie aankondigden van grote Hadoop-applicaties die gegevens genereerden die werden gebruikt voor zoekopdrachten op het web. In wat een golf leek, kondigden verschillende prominente bedrijven de toepassing van deze technologie aan voor hun enorme databases, waaronder Facebook, Amazon, Fox, Apple, eBay en FourSquare. Hadoop zette de nieuwe standaard voor gegevensverwerking.

Big data, grote problemen

Hoewel de vooruitgang in de datatechnologie de manier waarop bedrijven met gegevens omgaan heeft hervormd, vinden veel leidinggevenden ze nog steeds niet uitgerust voor het volledige scala aan vereiste taken. In juli 2012 publiceerde Oracle een enquête bij meer dan 300 C-level executives, die onthulden dat 36 procent van de bedrijven afhankelijk is van IT voor het beheren en analyseren van gegevens, maar dat 29 procent van hen het gevoel heeft dat hun systemen onvoldoende mogelijkheden hebben om aan hun bedrijf te voldoen ' nodig heeft. Misschien wel de meest opvallende bevinding van het onderzoek was dat 93 procent van de respondenten geloofde dat hun bedrijf tot 14 procent van haar omzet verloor door de verzamelde gegevens niet te kunnen gebruiken. Dat zijn inkomsten die kunnen worden besteed aan het maken van betere producten en het aannemen van meer werknemers. In een tijd waarin bedrijven worstelen om winstgevend te blijven, is het noodzakelijk om gegevens te verbeteren zodat bedrijven winstgevender kunnen worden. De enquête geeft aan dat ondanks degenen die geloven dat de invloed van big data op de handel al voorbij is, de kansen voor groei en vooruitgang die het biedt nog volledig moeten worden gerealiseerd.

Wat de toekomst in petto heeft voor big data

Het goede nieuws is dat Hadoop en MapReduce vele andere tools voor gegevensbeheer hebben geïnspireerd. Veel nieuwe bedrijven creëren uitgebreide dataplatforms die op Hadoop draaien, maar bieden een breed scala aan analytische functies en eenvoudigere systeemintegratie. Het lijkt erop dat bedrijven veel middelen hebben geïnvesteerd om datakwesties aan te pakken en het financiële succes van gegevensbedrijven is hiervan het bewijs. In 2010 verdienden gegevensbedrijven naar schatting $ 3, 2 miljard aan detailhandelsverkopen. Veel experts schatten dat dit aantal alleen al in 2015 tot 17 miljard dollar zal groeien. Dit is een feit dat niet is verloren gegaan bij enkele van de grootste technologiebedrijven. Zowel IBM als Oracle hebben de afgelopen maanden miljarden uitgegeven om datafirma's over te nemen. Veel andere bedrijven zullen de komende jaren soortgelijke stappen zetten, terwijl ze blijven strijden om een ​​concurrerend marktaandeel.

The Big Data Frontier

De hoeveelheid gegevens die wordt verzameld, blijft exponentieel groeien, wat ons zorgen baart en anderen enthousiast maakt. Het voordeel is dat mensen productiever en adaptiever zullen blijven als we nieuwe dingen over onze wereld leren door de analyse van gegevens. Het nadeel is dat er zo'n enorme hoeveelheid gegevens is dat velen vrezen dat we niet in staat zijn om alles goed op te slaan, veel minder goed beheren zodat het kan worden gebruikt door iedereen die het nodig heeft.

Dat gezegd hebbende, verbeteringen in big data kunnen ongekende mogelijkheden bieden voor oplossingen voor urgente problemen met data. Experts hebben bijvoorbeeld gesuggereerd dat als big data correct zou worden geïmplementeerd met de nadruk op efficiëntie en kwaliteit, dit zou kunnen leiden tot een besparing van ongeveer $ 300 miljard per jaar aan uitgaven voor gezondheidszorg; detailhandelaren zouden hun operationele marges kunnen verbeteren, de openbare sector zou betere diensten kunnen verlenen en grote ondernemingen zouden miljarden besparen. En dus lijkt het erop dat het oplossen van onze dataproblemen niet alleen nodig is in de directiekamers van bedrijven, maar overal. Dat zegt goede dingen over de toekomst van big data - en misschien ook de onze.