Zoals het is, zegt Cloudera CEO Mike Olson, heeft het Hadoop-analyseplatform enkele belangrijke beperkingen met betrekking tot snelheid en complexiteit. Marktleiders - inclusief die van zijn eigen bedrijf - werken er echter aan om dat te veranderen, ervan overtuigd dat dit onderzoekstool de komende jaren op fundamentele manieren zal evolueren.
Tijdens de Strata-conferentie van vorig jaar vroeg Olson een publiek om zich voor te stellen hoe, als het vandaag zou zijn gemaakt, Hadoop anders zou zijn ontworpen, omdat bepaalde specifieke veranderingen nieuwe poorten konden openen voor onderzoek op gebieden zoals onderwijs, energie en landbouw. Onder verwijzing naar kosmoloog en wetenschappelijk auteur Carl Sagan, benadrukte Olson het belang van het opsplitsen van gegevens op hoog niveau voor een groter publiek.
"Ik denk dat we klaar staan aan de rand van grote ontdekkingen die er toe doen voor het bedrijfsleven en de samenleving, " zei Olson.
Een voorbeeld, merkte hij op, is de wetenschappelijke ontdekking die mogelijk is gemaakt door het werk van wetenschappelijke professionals bij de Large Hadron Collider in Zwitserland. Volgens Olson is het de dagelijkse evaluatie van 37 terabytes aan gegevens die hebben geleid tot belangrijke verbeteringen, zoals de ontdekking van de waterscheiding Higgs-Boson, die belangrijke aspecten van materie en energie aan het licht heeft gebracht. Olson voegde eraan toe dat Hadoop helpt bij deze fundamentele onderzoeksprojecten door een enorme hoeveelheid gegevens in een enkele repository vast te leggen, maar dat het moeilijk is om in realtime met die gegevens te communiceren.
Olson lichtte toe hoe Hadoop en vergelijkbare technologieën wetenschappers op belangrijke gebieden, zoals de gezondheidszorg, kunnen helpen. Ook kondigde Olson het Impala-project aan, iets waar zijn bedrijf al twee jaar aan werkt, met twee kwart bètatests in coördinatie met grote clients. Het Impala-project, zei Olson, is een "100% open source" -technologie met Apache-licenties die met Hadoop werkt als een "realtime query-engine". Dit, zei Olson, staat wat hij "snelheid van gedachtequery's" noemt, waar gebruikers een vraag kunnen stellen, een antwoord kunnen krijgen en een nieuwe vraag kunnen formuleren om belangrijke gegevensclusters effectief te gebruiken.
"Het geeft je een nieuwe manier om bij je gegevens te komen, " zei Olson, waarin hij schetste hoe dit soort vooruitgang extra kansen zou kunnen openbreken om grote problemen in de VS en in het buitenland op te lossen.
