KAFKA
Le Big Data entre dans une nouvelle ère . Longtemps cantonné à une gestion batch des gros volumes de données, les besoins actuels se trouvent à l’étroit dans l’utilisation des outils disponibles. Collecte des données en masse, tolérance de panne, gestion de la montée en charge, fiabilité, traitement des données à la volée, mise en œuvre de pipelines de traitements complexes, Kafka se positionne comme un élément incontournable des architectures Big Data.
A l’issue de cette formation, vous serez notamment capable d’écrire des programmes pour gérer les données de Kafka mais aussi de les intégrer à l’existant grâce à Kafka Connect.
- %de travaux pratiques
- %de satisfaction client
- jours de formation
À qui s’adresse cette formation KAFKA ?
Chefs de projet technique
Architectes
DéveloppeursDescription de la formation KAFKA
Présentation
Le Big Data rentre dans une nouvelle ère : longtemps cantonné à une gestion batch des gros volumes de données, les besoins actuels se trouvent à l’étroit dans l’utilisation des outils disponibles. Collecte des données en masse, tolérance de panne, gestion de la montée en charge, fiabilité, traitement des données à la volée (streaming), mise en œuvre de pipelines de traitements complexes, Kafka se positionne comme un élément incontournable des architectures Big Data.
Méthode pédagogique
La formation se passe en mode présentiel (face à face), et se compose de 60% de travaux pratiques (Mises en situation, débats, exercices). Le formateur alterne entre théorie et pratique ; chaque participant dispose d’un ordinateur sur lequel il réalisera les exercices proposés. Une évaluation quotidienne de l’acquisition des connaissances de la veille est effectuée.
Une synthèse est proposée en fin de formation. Une évaluation à chaud sera proposée au stagiaire à la fin du cours.
Un support de cours sera remis à chaque participant comprenant les slides sur la théorie, les exercices et les corrigés de ces derniers. Une feuille d’émargement par demi-journée de présence est fournie en fin de formation ainsi qu’une attestation de fin de formation si le stagiaire a bien assisté à la totalité de la session.
Objectifs
- A quoi sert Kafka ?
- Comprendre ce qu’est un cluster Kafka : Brokers, Topics, Partitions, Consumer Groups
- Ecrire un programme pour envoyer des données dans Kafka
- Ecrire un programme pour consommer les données de Kafka
- S’intégrer à l’existant grâce à Kafka Connect et Kafka REST Proxy
- Apprendre les bases de l’administration de Kafka
- Utiliser Kafka Stream pour traiter les données en continue
Audience
- Chefs de projet technique
- Architectes
- Développeurs
Pré-requis
Une connaissance des technologies Web.
La connaissance d’un langage de programmation structuré est souhaitable.
Aucune connaissance spécifique à BigData n’est nécessaire.
Le formateur
Le formateur est un expert du domaine qui intervient sur le sujet depuis plusieurs années en formation mais aussi en conseil.
Doté d’une grande qualité d’écoute, sa pédagogie et sa compétence technique vous permettront d’acquérir les compétences sur Kafka.
Il saura alterner entre théorie, pratique, et retours d’expérience.
Le programme
A quoi sert Kafka ?
- La collecte des données
- Un outil compatible avec le BigData
- Pensé pour un traitement des données en streaming
Les principes de bases
- Les piliers : Producers, Consumers, Brokers et Zookeeper
- Comparaison avec les Message Oriented Middleware
Architecture Kafka
- Les logs files
- Les replicas
- Partitions
- Consumers Groups
Développer avec Kafka
- Écrire un producer
- Écrire son propre Partitioner
- Écrire un consumer
- Gestion d’offset
- Valider les lectures
La gestion de schémas
- AVRO : un système de sérialization
- Présentation de schema registry
- Versionnez vos schémas
Kafka connect
- Présentation
- Les différents types de connecteurs
- Les modes standalone et distribués
- Les alternatives : NIFI, ETL, Flume, …
Les bases de l’administration
- Prérequis et installation
- Les versions de Kafka, compatibilité
- Configuration des topics
- Politique de log retention
- Compactage
- Configuration des partitions
- La sécurité
Kafka Streaming
- Présentation
- Création d’une application
- Un exemple Kafka Streaming
- Gestion des streams
- KSQL
Tarif
1980 € HT
Formation à distance
Retengr vous permet aussi de suivre cette formation à distance, sous forme de classe virtuelle (6 participants maximum), avec un formateur expert sur le sujet. La formation se déroule via une connexion en visio conférence (ZOOM, GoogleMeet, Teams ou autres) et vous permet d’alterner théorie et pratique de façon accompagnée ou autonome, le tout dans le respect des objectifs pédagogiques et des évaluations des acquis.
Les émargements, évaluations, attestation de formation, remises des supports de cours et autres documents se feront en ligne.
En ce qui concerne le matériel informatique du participant, il est seulement préconisé un ordinateur et une connexion internet. Nous nous chargeons du reste.
Chaque participant se verra attribuer une Machine Virtuelle qui sera exécutée dans le Cloud d’Amazon. Il disposera alors de la puissance et des outils nécessaires pour le bon déroulement de la formation. Aucune installation de la part du participant n’est requise avant la formation.
Une journée type de formation à distance se décompose de la façon suivante :
Matin :
- 2h de théorie en visioconférence
- 10 à 15 minutes de présentation d’exercices en visio
- 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d’écran à distance pour une assistance efficace).
Après-midi :
- 2h de théorie en visioconférence
- 10 à 15 minutes de présentation d’exercices en visio
- 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d’écran à distance pour une assistance efficace).
Les prochaines dates pour cette formation
