Connexion

Connexion à votre compte

Identifiant
Mot de passe
Maintenir la connexion active sur ce site

Blog

Hadoop une technologie qui devra évoluer


« Hadoop fait le job ! »

Bien sûr Hadoop fait ce pourquoi il est prévu et il le fait bien ! Il sait traiter des grandes masses de données, reste tolérant aux pannes ; plus il dispose de machines dans son cluster plus il va vite...

Par contre, il y a une chose qui est certain : Hadoop a besoin de plus de vélocité, avoir une approche plus orientée « faible latence » (temps réel) et non plus que le mode batch. La technologie a déjà séduit de nombreuses entreprises. Elle sera encore plus attractive si elle franchit un nouveau pas.

Chez Altic nous nous sommes intéressés à lire les nombreux papiers qui mettaient en relief les points faibles, les goulots d'étranglement dans l'environnement Hadoop, et saluons par la même occasion les nombreux projets open source qui tâchent de les corriger. Tout cet engouement rassure quant à l'évolution future d'Hadoop.

Certaines voix s'élèvent contre le phénomène Hadoop, et quant au fait qu'il soit devenu de facto l'environnement d'analyse à grande échelle pour l'entreprise.

Ce point de vue gagne d'autant plus d'esprits depuis que Google a indiqué qu'il abandonnait le framework de cacul MapReduce, qu'il a jugé trop lent ! Hadoop s'inspire en grande partie des travaux et projets menés par les ingénieurs de Google. Il est unanimement reconnu que MapReduce, n'est pas une technologie d'avenir ! Ne me faites pas dire ce que je n'ai pas dit ! Si la manière ce modèle de développement de calcul distribué n'est pas performant, l'autre grand socle d'Hadoop, HDFS, même s'il a lui aussi ses faiblesses, est moins remis en cause : on ne jette pas le bébé et l'eau du bain !
Google a récemment lancé tout une plate-forme de cloud computing où il a transformé en produits commerciaux certains projets comme BigQuery. Il permet de traiter de large volume de données via le bon vieux SQL. Ce requêteur pour Big Data, repose entre autre sur des nouvelles approches ayant fait l'objet de publications et connus sous les appellations suivantes : Percolator, Dreamel, Pregel.

Il faut souhaiter qu'Hadoop ait lui aussi une évolution similaire.

Why the days are numbered for Hadoop as we know it
http://gigaom.com/cloud/why-the-days-are-numbered-for-hadoop-as-we-know-it/
One does not simply scale into real-time
http://blog.mikiobraun.de/2011/10/one-does-not-simply-scale-into-realtime-processing.html
How will Google's Dremel change future Hadoop releases?
http://www.quora.com/How-will-Googles-Dremel-change-future-Hadoop-releases
5 Ways 'Big Data' Is Changing the World
http://www.entrepreneur.com/article/224582
Tags: hadoop

Rechercher sur le blog