– Comprendre l’architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients
– Publier et récupérer des données vers un cluster Kafka
– Utiliser les outils et les API permettant l’interaction avec un cluster Kafka
– Sécuriser les données à destination et en provenance d’un cluster Kafka
– Créer vos propres Consumers et Producers
– Implémenter un consumer mutli-thread
– Utiliser un proxy REST
– Ingestion de données avec Kafka Connect
– Stocker des données Avro dans Kafka avec le Schema Registry
- BDD & Décisionnel
- Décisionnel
Formation Apache Kafka : Messagerie Distribuée
Objectifs
Prérequis
Connaissances de base d’un système Unix
Connaissance dans un des langages de développement moderne (Java, Python, Scala)
Public
Développeurs, Data Scientists, Architectes, Administrateurs systèmes, DevOps
A distance / Classe virtuelle
Notre formateur
Présentiel
Les Modules
de formation
Historique et complexité des systèmes
Le traitement en temps réel : une importance business
Kafka: Une plateforme de données de flux
Un aperçu de Kafka et efficacité
Producers
Brokers
Consumers
Utilisation de ZooKeeper
Fichiers journaux de Kafka
Réplication et fiabilité
Chemins d’écriture et de lecture de Kafka
Partitions, Consumer Groups et Scalability
Utiliser Maven pour la gestion de projet
Accéder par programmation à Kafka
Écrire un Producer in Java
Utiliser REST API pour écrire un Producer
Écrire un Consumer en Java
Utiliser REST API pour écrire un Consumer
Créer un Consumer Multi-Thread
Gestion des Offsets
Consumer Rebalancing (rééquilibrage)
Gestion manuelle des Offsets (Commits)
Partionnement des données
Message Durability : gestion de la durée des messages
Introduction à Avro
Avro Schemas
Utilisation du Schema Registry
Cas d’utilisation de Kafka Connect
Les bases de Kafka Connect
Modes : Standalone and Distributed
Configuration du mode distribué
Tracking Offsets
Connector Configuration
Comparaison d’utilisation avec des options avancées
Installation et options
Considération matérielle (Hardware)
Administrer Kafka
Cas d’utilisation de Kafka Streams
Kafka Streams : les fondamentaux Fundamentals
Étude d’une application et usage de Kafka Streams