Mise en place d'un cluster hadoop de dix postes avec interface d'exécution de jobs mapfeduce à l'école nationale supérieure en science et technologie de l'informatique (ENSTI)

Abstract

Depuis plus de cinq (05) décennies l'informatique s'est implanté au cœur de nos entreprises, nos hôpitaux, nos ministères, nos foyers … etc. Cette forte utilisation de l'informatique a engendré de grands volumes de données qui ne sont pas gérable par les logiciels et matériels classiques. Prenons le cas de grandes entreprises comme Google, Microsoft, Facebook et Yahoo ! qui doivent avoir des milliards de données à stocker, gérer et manipuler. Cette perplexité dans la gestion de ces grands volumes de données a donné naissance au terme Big Data. Les quantités de données potentiellement infinies ainsi que les contraintes qui en dérivent posent de nombreux problèmes de stockage et de traitement de ces données très volumineuses en termes de temps et de calcul en utilisant des plateformes dédiées tel que Hadoop qui constitue l'une des meilleures plateformes du Big Data et qui se repose sur son système de fichier distribué HDFS et son paradigme de traitement et de calcul parallèle MapReduce. Dans ce travail nous aborderons le monde du big data en définissant ces caractéristiques et son architecture. Ensuite, nous parlerons des technologies de haute performance du Big Data et plus précisément le Framework Hadoop. Dans la partie applicative de notre projet nous avons mis en place un Cluster Hadoop avec une interface d'exécution de Jobs MapReduce.