La formation Hadoop permet de maîtriser les fondamentaux et les outils essentiels du framework Hadoop pour le traitement des données massives. Elle englobe l’architecture du système, le fonctionnement du HDFS, ainsi que les composants majeurs tels que MapReduce, Hive, Pig et HBase. Cette formation se concentre également sur la mise en place, la configuration et l’utilisation d’un cluster Hadoop dans un cadre professionnel.
- Cette formation s’adresse aux développeurs souhaitant concevoir des applications Big Data basées sur Hadoop administrateurs systèmes, ainsi qu’aux chefs de projets et toute personne désirant comprendre les architectures et le stockage de données dans un environnement Hadoop.
- Compréhension des systèmes distribués
- Bases en gestion de données
- Bonne expérience en développement Java
- Construire des programmes basés sur MapReduce
- Intégrer HBase dans un workflow d’entreprise
- Manipuler les données avec Apache Hive et Pig depuis HDFS
- Utiliser un graphe de tâches avec Hadoop
Programme de la formation
Maîtriser le développement et l’exploitation de solutions Big Data avec Hadoop.
Formation Hadoop – Maîtrisez le développement Big Data avec Hadoop.
Contenu
- Le big data
- Définition du périmètre du big data
- Le rôle du projet Hadoop
- Les concepts de base des projets big data
- Présentation du cloud computing
- Différence entre cloud computing privé et public
- Les architectures big data à base du projet Hadoop
- Collecte de données et application de MapReduce
- Analyse des flux de données dans l’entreprise
- Données structurées et non-structurées
- Les principes de l’analyse sémantique des données d’entreprise
- Graphe des tâches à base de MapReduce
- La granularité de cohérence des données
- Transfert de données depuis un système de persistance dans Hadoop
- Transfert de données d’un Cloud dans Hadoop
- Le stockage des données avec HBase
- Plusieurs types de base de données XML
- Patterns d’usages et application au cloud
- Application de Hadoop database au sein d’un workflow
- Utilisation des projets Hive/Pig
- Utilisation du projet HCatalog
- L’API Java HBase
- Le stockage des données sur HDFS
- Patterns d’usages et application au cloud
- Architecture et installation d’un système HDFS, journal, NameNode, DataNode
- Opérations, commandes et gestion des commandes
- L’API HDFS Java
- Analyse de données avec Apache Pig
- Le langage Pig Latin. Utiliser Apache Pig avec Java
- Requêtage avec Apache Hive
- Réplication de données. Partage de données sur une architecture HDFS
- Spring Data Hadoop
- Introduction à Spring et Spring Data
- Le namespace Hadoop pour Spring
- Utiliser Spring pour simplifier la configuration Hadoop
- Configuration du cache distribué
- Définition des jobs et dépendance entre jobs
- Intégration des outils (Pig, Hive…)