03 20 61 95 00

Formation Microsoft 20775 – Réaliser de l’ingénierie de données avec Microsoft HD Insight


  • 20775
  • Durée : 5 jours
  • Tarif : 2815 € HT

Objectifs

- Déployer des clusters HDInsight
- Charger des données dans HDInsight
- Dépanner HDInsight
- Mettre en place des solutions batch
- Concevoir des solutions Batch ETL pour le Big Data avec Spark
- Analyser les données avec Spark SQL, Hive et Phoenix
- Implémenter Spark Streaming en utilisant l'API DStream
- Développer des solutions de traitement Big Data en temps réel avec Apache Storm
- Construire des solutions qui utilisent Kafka et HBase

Certification

MCSE Data Management and Analytics

Prérequis

Disposer d'une connaissance des méthodes statistiques communes et des meilleures pratiques d'analyse de données Connaissances de base du système d'exploitation Microsoft Windows et de ses fonctionnalités principales Connaissance pratique des bases de données relationnelles

Public

Ingénieurs de données, architectes de données, Data Scientist et les développeurs de données qui envisagent d'implémenter de grands workflows d'ingénierie de données sur HDInsight.
enveloppe Cette formation vous intéresse ? Contactez-nous

Présentiel

Formations intra ou interentreprises, cours officiels ou création de contenu spécifique, nos formations sauront répondre à vos attentes.
illustration-formation
Les + d’une formation Access-it
Un accueil chaleureux dans ses nouveaux locaux de Villeneuve d’Ascq (Lille – 59)
Des formations d’excellence animées par des consultants experts passionnés par leurs métiers
Un centre d’examen certifié Pearson Vue
En savoir plus
modules

Les Modules
de formation

Module 1
Mise en route de HDINSIGHT
Qu'est ce que le Big Data
Introduction à Hadoop
Travailler avec la fonction MapReduce
Présentation de HDInsight
Module 2
Déploiement de clusters HDINSIGHT
Identification des types de cluster HDInsight
Gérer les clusters HDInsight en utilisant le portail Azure
Gérer les clusters HDInsight en utilisant Azure PowerShell
Module 3
Autoriser les utilisateurs à accéder aux ressources
Clusters non liés à un domaine
Configuration de clusters HDInsight connectés au domaine
Gestion des clusters HDInsight connectés au domaine
Module 4
Chargement des données dans HDInsight
Stockage des données pour le traitement HDInsight
Utilisation des outils de chargement de données
Maximiser la valeur des données stockées
Module 5
Dépannage de HDInsight
Analyse des logs HDInsight
logs YARN
Heap dumps (décharge)
Operations Management Suite
Module 6
Implémentation de solutions batch
Stockage Apache Hive
Requêtes de données HDInsight utilisant Hive and Pig
Mise en oeuvre HDInsight
Module 7
Concevoir des solutions batch etl pour le big data avec batch
Qu'est-ce que Spark ?
ETL avec Spark
Performance Spark
Module 8
Analyser les données avec spark sql
Implémentation de requêtes itératives et interactives
Effectuer une analyse de données exploratoire
Module 9
Analyser les données avec Hive et Phoenix
Mettre en place des requêtes interactives pour le Big Data avec Hive interactive
Effectuer une analyse de données exploratoire à l'aide de Hive
Effectuer un traitement interactif en utilisant Apache Phoenix
Module 10
Stream Analytics
Analyse de flux
Processus de diffusion des données à partir de l'analyse des flux
Gestion des travaux d'analyse de flux
Module 11
Mettre en oeuvre des solutions de streaming avec Kafka et Hbase
Construction et déploiement d'un cluster Kafka
Publication, consommation et traitement des données à l'aide du cluster Kafka
Utilisation de HBase pour stocker et requêter des données
Module 12
Développer des solutions de traitement big data en temps réel avec Apache Storm
Persistance des données à long terme
Transmission des données avec Storm
Création de topologies Storm
Configuration d'Apache Storm
Module 13
Créer des applications Spark streaming
Utilisation de Spark Streaming
Création d'applications Spark Streaming structurées
Persistance et visualisation
Module 14
Validation et sanction de la formation
Une attestation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation sera remise au stagiaire à l’issue de sa formation
Module 15
Moyens pédagogiques et techniques mis en œuvre
Lors des formations en présentiel, nous mettons à disposition tout le matériel de formation nécessaire :
1 PC et 1 support de cours par participant + 1 PC animateur + 1 vidéo projecteur + 1 paperboard.
Les postes sont équipés de l’environnement (logiciel et matériel) recommandé par les éditeurs.
Chaque poste est connecté à internet à notre serveur.
En amont de la formation,
un audit (entretien physique ou téléphonique) préalable nous permet de déterminer et fixer la meilleure approche pédagogique pour atteindre une qualité de formation optimale.
Chaque participant reçoit :
– Le programme de la journée et du module
– Un support de formation
– Un suivi de formation et des échanges entre le formateur et les participants sont proposés
Module 16
Modalité d’évaluation des acquis
Durant la formation, le participant est amené à mettre en pratique les éléments du cours par la réalisation de travaux pratiques réalisés sur PC.
La validation des acquis du stagiaire est faite par le formateur à la fin de chaque atelier. Cette validation individuelle est possible du fait du faible nombre de participants par session de formation (6 personnes maximum).
A la fin de la formation, le stagiaire a donc atteint les objectifs fixés par la formation.

Une évaluation de fin de stage est également remplie par le stagiaire à la fin de la formation (évaluation de la formation, du formateur, du centre de formation)
Module 17
Moyens permettant de suivre l’exécution de l’action
Le contrôle de la présence des stagiaires sera assuré par la vérification de l’assiduité des participants. Le stagiaire signera une feuille de présence par demi-journée de formation. Celle-ci sera également signée par le formateur

Cette formation vous intéresse ? Contactez-nous !