Mise en place d'un cluster Hadoop automatisé sur Docker

Abstract

Nous vivons à une époque où les données sont générées par tout ce qui nous entoure. Le taux de génération de données est si alarmant qu'il a créé un besoin pressant de mécanismes de stockage et d'extraction de données faciles et rentables. En outre, de grandes quantités de données doivent être analysées pour en tirer des bénéfices et établir des relations d'attributs, ce qui peut conduire à une meilleure prise de décision et à des stratégies commerciales efficaces. Les grandes données nous permettent d'en apprendre davantage sur les nouvelles technologies, les compétences et les processus de notre architecture d'information et sur les personnes qui les exploitent, les conçoivent et les utilisent. Hadoop Distributed File System, également connu sous le nom de HDFS, et Hadoop MapReduce sont suffisamment bons pour mettre en évidence les implications des Big Data sur le marché. Dans ce rapport, nous présentons la mise en œuvre d'un cluster hadoop pour stocker et analyser de grandes quantités de données.