03 20 61 95 00

Formation Microsoft 20775 – Réaliser de l’ingénierie de données avec Microsoft HD Insight


  • 20775
  • Durée : 5 jours
  • Tarif : 2815 € HT

Objectifs

– Déployer des clusters HDInsight
– Charger des données dans HDInsight
– Dépanner HDInsight
– Mettre en place des solutions batch
– Concevoir des solutions Batch ETL pour le Big Data avec Spark
– Analyser les données avec Spark SQL, Hive et Phoenix
– Implémenter Spark Streaming en utilisant l’API DStream
– Développer des solutions de traitement Big Data en temps réel avec Apache Storm
– Construire des solutions qui utilisent Kafka et HBase

Certification

MCSE Data Management and Analytics

Prérequis

Disposer d’une connaissance des méthodes statistiques communes et des meilleures pratiques d’analyse de données
Connaissances de base du système d’exploitation Microsoft Windows et de ses fonctionnalités principales
Connaissance pratique des bases de données relationnelles

Public

Ingénieurs de données, architectes de données, Data Scientist et les développeurs de données qui envisagent d’implémenter de grands workflows d’ingénierie de données sur HDInsight.

enveloppe Cette formation vous intéresse ? Contactez-nous

A distance / Classe virtuelle

En classe virtuelle, vous êtes en totale immersion avec le groupe et participez à la formation dans les mêmes conditions que le présentiel : cours théorique, travaux pratiques, échanges en temps réel avec le formateur et les autres stagiaires…

Notre formateur

La formation est animée par un professionnel de l’informatique et de la pédagogie, dont les compétences techniques, professionnelles et pédagogiques ont été validées par des certifications et/ou testées et approuvées par les éditeurs et/ou notre équipe pédagogique. Il est en veille technologique permanente et possède plusieurs années d’expérience sur les produits, technologies et méthodes enseignés. Il est présent auprès des stagiaires pendant toute la durée de la formation.

Présentiel

Formations intra ou interentreprises, cours officiels ou création de contenu spécifique, nos formations sauront répondre à vos attentes.
illustration-formation
Les + d'une formation Access it
Des formations d'excellence, éligibles CPF, disponibles en distanciel, et animées par des consultants experts passionnés par leur métier.
En savoir plus
modules

Les Modules
de formation

Module 1
Mise en route de HDINSIGHT

Qu’est ce que le Big Data
Introduction à Hadoop
Travailler avec la fonction MapReduce
Présentation de HDInsight

Module 2
Déploiement de clusters HDINSIGHT

Identification des types de cluster HDInsight
Gérer les clusters HDInsight en utilisant le portail Azure
Gérer les clusters HDInsight en utilisant Azure PowerShell

Module 3
Autoriser les utilisateurs à accéder aux ressources

Clusters non liés à un domaine
Configuration de clusters HDInsight connectés au domaine
Gestion des clusters HDInsight connectés au domaine

Module 4
Chargement des données dans HDInsight

Stockage des données pour le traitement HDInsight
Utilisation des outils de chargement de données
Maximiser la valeur des données stockées

Module 5
Dépannage de HDInsight

Analyse des logs HDInsight
logs YARN
Heap dumps (décharge)
Operations Management Suite

Module 6
Implémentation de solutions batch

Stockage Apache Hive
Requêtes de données HDInsight utilisant Hive and Pig
Mise en oeuvre HDInsight

Module 7
Concevoir des solutions batch etl pour le big data avec batch

Qu’est-ce que Spark ?
ETL avec Spark
Performance Spark

Module 8
Analyser les données avec spark sql

Implémentation de requêtes itératives et interactives
Effectuer une analyse de données exploratoire

Module 9
Analyser les données avec Hive et Phoenix

Mettre en place des requêtes interactives pour le Big Data avec Hive interactive
Effectuer une analyse de données exploratoire à l’aide de Hive
Effectuer un traitement interactif en utilisant Apache Phoenix

Module 10
Stream Analytics

Analyse de flux
Processus de diffusion des données à partir de l’analyse des flux
Gestion des travaux d’analyse de flux

Module 11
Mettre en oeuvre des solutions de streaming avec Kafka et Hbase

Construction et déploiement d’un cluster Kafka
Publication, consommation et traitement des données à l’aide du cluster Kafka
Utilisation de HBase pour stocker et requêter des données

Module 12
Développer des solutions de traitement big data en temps réel avec Apache Storm

Persistance des données à long terme
Transmission des données avec Storm
Création de topologies Storm
Configuration d’Apache Storm

Module 13
Créer des applications Spark streaming

Utilisation de Spark Streaming
Création d’applications Spark Streaming structurées
Persistance et visualisation

Module 14
Validation et sanction de la formation

Une attestation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation sera remise au stagiaire à l’issue de sa formation

Module 15
Moyens pédagogiques et techniques mis en œuvre

Lors des formations en présentiel, nous mettons à disposition tout le matériel de formation nécessaire :
1 PC et 1 support de cours par participant + 1 PC animateur + 1 vidéo projecteur + 1 paperboard.
Les postes sont équipés de l’environnement (logiciel et matériel) recommandé par les éditeurs.
Chaque poste est connecté à internet à notre serveur.
En amont de la formation,
un audit (entretien physique ou téléphonique) préalable nous permet de déterminer et fixer la meilleure approche pédagogique pour atteindre une qualité de formation optimale.
Chaque participant reçoit :
– Le programme de la journée et du module
– Un support de formation
– Un suivi de formation et des échanges entre le formateur et les participants sont proposés

Module 16
Modalité d’évaluation des acquis

Durant la formation, le participant est amené à mettre en pratique les éléments du cours par la réalisation de travaux pratiques réalisés sur PC.
La validation des acquis du stagiaire est faite par le formateur à la fin de chaque atelier. Cette validation individuelle est possible du fait du faible nombre de participants par session de formation (6 personnes maximum).
A la fin de la formation, le stagiaire a donc atteint les objectifs fixés par la formation.

Une évaluation de fin de stage est également remplie par le stagiaire à la fin de la formation (évaluation de la formation, du formateur, du centre de formation)

Module 17
Moyens permettant de suivre l’exécution de l’action

Le contrôle de la présence des stagiaires sera assuré par la vérification de l’assiduité des participants. Le stagiaire signera une feuille de présence par demi-journée de formation. Celle-ci sera également signée par le formateur

Cette formation vous intéresse ? Contactez-nous !

Les données personnelles collectées sont destinées à Access IT Company et utilisées pour traiter votre demande et, lorsque vous ne vous y êtes pas opposé, vous communiquer nos offres commerciales. Les données obligatoires vous sont signalées sur le formulaire par un astérisque. L’accès aux données est strictement limité par Access IT Company aux collaborateurs en charge du traitement de votre demande. Conformément au Règlement européen n°2016/679/UE du 27 avril 2016 sur la protection des données personnelles et à la loi « informatique et libertés » du 6 janvier 1978 modifiée, vous bénéficiez d’un droit d’accès, de rectification, d’effacement, de portabilité et de limitation du traitement des donnés vous concernant ainsi que du droit de communiquer des directives sur le sort de vos données après votre mort. Vous avez également la possibilité de vous opposer au traitement des données vous concernant. Vous pouvez exercer vos droits en contactant le DPO à l’adresse suivante : dpo@access-it.fr ou à l’adresse postale suivante 2, Allée Lavoisier, 59650 Villeneuve d’Acscq. Pour plus d’informations sur le traitement de vos données personnelles par Access IT Company, veuillez consulter notre politique de confidentialité disponible sur notre site internet à l’adresse suivante : https://www.access-it.fr/politique-de-confidentialite/