Connexion

Connexion à votre compte

Identifiant
Mot de passe
Maintenir la connexion active sur ce site

Blog

Un POC Hadoop, Hadoop en Production, Plateforme Hadoop



 

Pas si simple d'accueillir plus de 3 000 conférenciers. Juste une petite remarque quant au wifi qui aura été assez instable. Problème en partie assez vite résolu.

Heureusement ces soucis techniques n'auront pas perturbé le déroulement des keynotes et des sessions dont la qualité s'avère fort appréciable.

Hadoop a été créé il y a maintenant 10 ans. Ça en fait une solution très stable compte tenu de sa capacité à passer à l'échelle, son agilité, sa robustesse et toutes les autres bonnes raisons que l'on pourrait lui trouvé. Son adoption par l'ensemble des startups et grandes firmes du web est définitivement en train de dépasser de ce cadre : il se propage dans tous les secteurs d'activités. Sans exception. Ce succès se renforce parce que l'écosystème d'Hadoop s'étoffe de jour en jour pour offrir la possibilité à chacun de créer tout type de traitements : batch, intéractif, temps réel, graphe …

Adrian Merv du Gartner a montré que Hadoop, le big data faisait l'objet d'autant de recherche sur leur site que leur fameux cadran magique. C'est dire l'intérêt que l'on porte à ces sujets. Il a aussi indiqué que les entreprises y allaient étape après étape :

  • Elles réalisent un pilote
  • Elles passent en production
  • Elle optent pour une plateforme Hadoop !


En effet, le nombre de problématiques que sait résoudre Hadoop en fait ainsi une pierre angulaire dans le système d'information : on parle alors de « Data Lake », « Data Hub » ! Cette notion de plateforme fait référence à l'ensemble des outils et services qui viennent aider l'entreprise à se ré-inventer, maintenant qu'elle est décloisonnée, qu'elle a une vision à 360° et qu'elle n'est plus réactive mais proactive.

Techniquement la vraie tendance c'est YARN. Il est devenu la pièce maîtresse de nombre d'acteurs. Il facilite la ré-invention complète d'applications ! En effet, par son utilisation des applications passent plus facilement à l'échelle. De nombreux cas reviennent notamment Microsoft qui a ainsi pu augmenter la qualité de ses services en lignes.

Revenons un peu à cette notion de plateforme. Hadoop est sans doute avec OpenStack (cloud) l'un des projets open source les plus conséquents. Ils entraînent dans leur sillage quasiment tous les acteurs de l'informatique. Qui ne s'intéressent pas à Hadoop ou à OpenStack !? Tout ceci pour montrer que leur écosystème et le nombre de solutions qui les entourent, obligent à composer sa « plateforme ». Pour ce qui est d'Hadoop en fonction des problématiques que l'on va vouloir résoudre on va être en mesure de choisir

  • son type de déploiement (cloud, on premise)
  • son système d'exploitation
  • sa distribution Hadoop
  • son système de stockage
  • ses types de traitements
  • ses outils (gestion et surveillance du cluster, développement et déploiement d'applications, gouvernance des données...)
  • ses applications

Rechercher sur le blog