Big Data : problématique, défis à relever, Framework et écosystème

Big Data : problématique, défis à relever, Framework et écosystème A l’heure actuelle, Hadoop et Apache Spark sont les principaux Framework Big Data. Utilisés pour le stockage et le traitement d’immenses volumes de données, ces Framework logiciels et leurs différents composants sont utilisés par de très nombreuses entreprises pour leurs projets Big Data. A l’issue de cette formation vous allez acquérir les compétences et connaissances nécessaires pour :

• Installer et administrer un cluster Hadoop
• Utiliser Hadoop avec les principales solutions logicielles de son écosystème
• Configurer et utiliser Apache Spark avec un cluster Hadoop
• Utiliser les principales bibliothèques et fonctionnalités d’Apache Spark (Machine learning, streaming de données, Spark SQL contexte) avec Python

Plan : NIVEAU I : Architecture, installation et Administration de cluster Hadoop 1) Architecture de Hadoop : Namenode/Datanode, YARN, JobTracker/TaskTracker 2) Installation Hadoop simple nœud 3) Installation Hadoop mutli-nœuds NIVEAU II : Ecosystème Hadoop (HIVE, IMPALA, HBASE, FLUME et SQOOP) 1) Le modèle MapReduce : Paradigme, exemples d’applications, tournage à la main avec un code écrit en Python 2) Ecosystème Hadoop (a) Apache Hive, Apache Impala (c) Apache Hbase (d) Streaming de données avec Apache Flume (e) Ingestion de données avec Apache Sqoop NIVEAU III : Apache Spark avec Python (Machine Learning, RDD, Dataframe, Spark SQL contexte, streaming et déploiement sur un cluster Hadoop-Yarn) 1) Architecture 2) RDD Vs Dataframe 3) Machine Learning avec RDD (bibliothèque MLlib avec pyspark) 4) Spark SQL contexte (pyspark) 5) Machine Learning avec Dataframe (bibliothèque ML avec pyspark) 6) Streaming de données avec Spark 7) Déploiement sur un cluster Hadoop-Yarn 8) Application dans le domaine des participants