03 20 61 95 00

Formation Google Cloud Platform GCP200DE Ingénierie de données


  • GCP200DE
  • Durée : 4 jours
  • Tarif : 2800 € HT

Objectifs

Savoir concevoir et déployer de pipelines et d’architectures pour le traitement des données
Comprendre comment obtenir des informations métier à partir de très grands ensembles de données à l’aide de Google BigQuery
Savoir tirer parti des données non structurées à l’aide de Spark et des API de Machine Learning sur Cloud Dataproc
Comprendre comment activer Instant Insights à partir des données par flux

Prérequis

Avoir suivi la formation « Google Cloud Platform – Les fondamentaux du Big Data et du Machine Learning » ou bénéficier d’une expérience équivalente
Maîtriser les principes de base des langages de requête courants tels que SQL
Avoir de l’expérience en modélisation, extraction, transformation et chargement des données
Savoir développer des applications à l’aide d’un langage de programmation courant tel que Python
Savoir utiliser le Machine Learning et/ou les statistiques
Pour suivre cette formation dans des conditions optimales, nous vous recommandons de venir en formation avec un ordinateur portable

Public

Développeurs expérimentés en charge des transformations du Big Data

enveloppe Cette formation vous intéresse ? Contactez-nous

A distance / Classe virtuelle

En classe virtuelle, vous êtes en totale immersion avec le groupe et participez à la formation dans les mêmes conditions que le présentiel : cours théorique, travaux pratiques, échanges en temps réel avec le formateur et les autres stagiaires…

Notre formateur

La formation est animée par un professionnel de l’informatique et de la pédagogie, dont les compétences techniques, professionnelles et pédagogiques ont été validées par des certifications et/ou testées et approuvées par les éditeurs et/ou notre équipe pédagogique. Il est en veille technologique permanente et possède plusieurs années d’expérience sur les produits, technologies et méthodes enseignés. Il est présent auprès des stagiaires pendant toute la durée de la formation.

Présentiel

Formations intra ou interentreprises, cours officiels ou création de contenu spécifique, nos formations sauront répondre à vos attentes.
illustration-formation
Les + d'une formation Access it
Des formations d'excellence, éligibles CPF, disponibles en distanciel, et animées par des consultants experts passionnés par leur métier.
En savoir plus
modules

Les Modules
de formation

Module 1
INTRODUCTION À L’INGÉNIERIE DES DONNÉES

Explorez le rôle d’un data engineer
Analyser les défis d’ingénierie des données
Introduction à BigQuery
Data lakes et data warehouses
Démo: requêtes fédérées avec BigQuery
Bases de données transactionnelles vs data warehouses
Démo: recherche de données personnelles dans votre jeu de données avec l’API DLP
Travailler efficacement avec d’autres équipes de données
Gérer l’accès aux données et gouvernance
Construire des pipelines prêts pour la productionEtude de cas d’un client GCP
Lab: Analyse de données avec BigQuery

Module 2
CONSTRUIRE UN DATA LAKE

Introduction aux data lakes
Stockage de données et options ETL sur GCP
Construction d’un data lake à l’aide de Cloud Storage
Démo: optimisation des coûts avec les classes et les fonctions cloud de Google Cloud Storage
Sécurisation de Cloud Storage
Stocker tous les types de données
Démo: exécution de requêtes fédérées sur des fichiers Parquet et ORC dans BigQuery
Cloud SQL en tant que data lake relationnel

Module 3
CONSTRUIRE UN DATA WAREHOUSE

Le data warehouse moderneIntroduction à BigQuery
Démo: Requêter des TB + de données en quelques secondes
Commencer à charger des données
Démo: Interroger Cloud SQL à partir de BigQuery
Lab: Chargement de données avec la console et la CLI
Explorer les schémas
Exploration des jeux de données publics BigQuery avec SQL à l’aide de INFORMATION_SCHEMA
Conception de schéma
Démo: Exploration des jeux de données publics BigQuery avec SQL à l’aide de INFORMATION_SCHEMA
Champs imbriqués et répétés dans BigQuery
Lab: tableaux et structures
Optimiser avec le partitionnement et le clustering
Démo: Tables partitionnées et groupées dans BigQuery
Aperçu: Transformation de données par lots et en continu

Module 4
INTRODUCTION À LA CONSTRUCTION DE PIPELINES DE DONNÉES PAR LOTS EL, ELT, ETL

Considérations de qualité
Comment effectuer des opérations dans BigQuery
Démo: ETL pour améliorer la qualité des données dans BigQuery
Des lacunes
ETL pour résoudre les problèmes de qualité des données

Module 5
EXÉCUTION DE SPARK SUR CLOUD DATAPROC

L’écosystème Hadoop
Exécution de Hadoop sur Cloud Dataproc GCS au lieu de HDFS
Optimiser Dataproc
Atelier: Exécution de jobs Apache Spark sur Cloud Dataproc

Module 6
TRAITEMENT DE DONNÉES SANS SERVEUR AVEC CLOUD DATAFLOW

Cloud Dataflow
Pourquoi les clients apprécient-ils Dataflow?
Pipelines de flux de données
Lab: Pipeline de flux de données simple (Python / Java)
Lab: MapReduce dans un flux de données (Python / Java)
Lab: Entrées latérales (Python / Java)
Templates Dataflow
Dataflow SQL

Module 7
GESTION DES PIPELINES DE DONNÉES AVEC CLOUD DATA FUSION ET CLOUD COMPOSER

Création visuelle de pipelines de données par lots avec Cloud Data Fusion: composants, présentation de l’interface utilisateur, construire un pipeline, exploration de données en utilisant Wrangler
Lab: Construction et exécution d’un graphe de pipeline dans Cloud Data Fusion
Orchestrer le travail entre les services GCP avec Cloud Composer – Apache Airflow Environment: DAG et opérateurs, planification du flux de travail
Démo : Chargement de données déclenché par un événement avec Cloud Composer, Cloud Functions, Cloud Storage et BigQuery
Lab: Introduction à Cloud Composer

Module 8
INTRODUCTION AU TRAITEMENT DE DONNÉES EN STREAMING

Traitement des données en streaming

Module 9
SERVERLESS MESSAGING AVEC CLOUD PUB/SUB

Cloud Pub/Sub
Lab: Publier des données en continu dans Pub/Sub

Module 10
FONCTIONNALITÉS STREAMING DE CLOUD DATAFLOW

Fonctionnalités streaming de Cloud Dataflow
Lab: Pipelines de données en continu

Module 11
FONCTIONNALITÉS STREAMING À HAUT DÉBIT BIGQUERY ET BIGTABLE

Fonctionnalités de streaming BigQuery
Lab: Analyse en continu et tableaux de bord
Cloud Bigtable
Lab: Pipelines de données en continu vers Bigtable

Module 12
FONCTIONNALITÉ AVANCÉES DE BIGQUERY ET PERFORMANCE

Analytic Window Functions
Utiliser des clauses With
Fonctions SIG
Démo: Cartographie des codes postaux à la croissance la plus rapide avec BigQuery GeoViz
Considérations de performance
Lab: Optimisation de vos requêtes BigQuery pour la performance
Lab: Création de tables partitionnées par date dans BigQuery

Module 13
INTRODUCTION À L’ANALYTIQUE ET À L’IA

Qu’est-ce que l’IA?
De l’analyse de données ad hoc aux décisions basées sur les données
Options pour modèles ML sur GCP

Module 14
API DE MODÈLE ML PRÉDÉFINIES POUR LES DONNÉES NON STRUCTURÉES

Les données non structurées sont difficiles à utiliser
API ML pour enrichir les données
Lab: Utilisation de l’API en langage naturel pour classer le texte non structuré

Module 15
BIG DATA ANALYTICS AVEC LES NOTEBOOKS CLOUD AI PLATFORM

Qu’est-ce qu’un notebook
BigQuery Magic et liens avec Pandas
Lab: BigQuery dans Jupyter Labs sur IA Platform

Module 16
PIPELINES DE PRODUCTION ML AVEC KUBEFLOW

Façons de faire du ML sur GCP
Kubeflow AI Hub
Lab: Utiliser des modèles d’IA sur Kubeflow

Module 17
CRÉATION DE MODÈLES PERSONNALISÉS AVEC SQL DANS BIGQUERY ML

BigQuery ML pour la construction de modèles rapides
Démo: Entraîner un modèle avec BigQuery ML pour prédire les tarifs de taxi à New York
Modèles pris en charge
Lab: Prédire la durée d’une sortie en vélo avec un modèle de régression dans BigQuery ML
Lab: Recommandations de film dans BigQuery ML

Module 18
CRÉATION DE MODÈLES PERSONNALISÉS AVEC CLOUD AUTOML

Pourquoi Auto ML?
Auto ML Vision
Auto ML NLP
Auto ML Tables

Cette formation vous intéresse ? Contactez-nous !

Les données personnelles collectées sont destinées à Access IT Company et utilisées pour traiter votre demande et, lorsque vous ne vous y êtes pas opposé, vous communiquer nos offres commerciales. Les données obligatoires vous sont signalées sur le formulaire par un astérisque. L’accès aux données est strictement limité par Access IT Company aux collaborateurs en charge du traitement de votre demande. Conformément au Règlement européen n°2016/679/UE du 27 avril 2016 sur la protection des données personnelles et à la loi « informatique et libertés » du 6 janvier 1978 modifiée, vous bénéficiez d’un droit d’accès, de rectification, d’effacement, de portabilité et de limitation du traitement des donnés vous concernant ainsi que du droit de communiquer des directives sur le sort de vos données après votre mort. Vous avez également la possibilité de vous opposer au traitement des données vous concernant. Vous pouvez exercer vos droits en contactant le DPO à l’adresse suivante : dpo@access-it.fr ou à l’adresse postale suivante 2, Allée Lavoisier, 59650 Villeneuve d’Acscq. Pour plus d’informations sur le traitement de vos données personnelles par Access IT Company, veuillez consulter notre politique de confidentialité disponible sur notre site internet à l’adresse suivante : https://www.access-it.fr/politique-de-confidentialite/