Formation Big Data – Une journée pour comprendre

Première partie : le matin

• Connaître les origines du BigData
• Découvrir les concepts qui se cachent derrière le terme BigData
• Déterminer les usages pertinents au travers d’exemples
• Définir les étapes qui jalonnent la mise en œuvre d’une approche BigData
• Mesurer l’impact du BigData sur notre quotidien
• Évaluer la relation entre BigData et Intelligence Artificielle

Deuxième partie : l’après-midi

• Dégrossir le panorama technologique des outils autours du BigData
• Utiliser nifi et/ou node-red pour automatiser vos workflows de collecte
• Pourquoi utiliser Hadoop comme infrastructure de stockage et de traitement ?
• Comprendre l’usage des frameworks Spark et Dask
• Appréhender les différentes approches en Machine Learning et Deep Learning

• DSI
• Architectes
• Développeurs

Doté d’une grande qualité d’écoute, sa pédagogie et sa compétence technique vous permettront d’acquérir une vue d’ensemble sur le Big Data.

Première partie : le matin

Cette présentation utilise un fil rouge ludique et dont la compréhension est à la portée de l’ensemble de l’audience (aucun prérequis technique). Les différentes étapes d’un projet Big Data ainsi que les outils y afférent seront expliqués en s’appuyant sur ce cas concret.

Origine des données

• Définir les différentes sources de données disponibles
• Données structurées / non structurées
• Comprendre les différents moyens d’y accéder
• Confidentialité des données, RGPD

Collecte

• Réflexion sur les besoins : origine, fiabilité, fréquence, coût
• Les différents formats de données
• Nettoyage et consolidation
• Problématiques techniques

Stockage

• Les limites des modèles actuels
• Le principe du datalake
• Les nouveaux modèles NoSql et NewSql
• Problématiques techniques du stockage

Traitement

• Comment traiter de gros volumes de données
• Paralléliser pour aller plus vite

Deuxième partie : l’après-midi

Collecte de données

• Nifi
• Node-red

Les nouveaux moyens de stockages

• Les nouveaux types de bases de données : key / value, document, wide-column
• MongoDB : une base de données de type document
• Scalability & Sharding
• Hadoop : Un framework de stockage et de traitement en parallèle

Hadoop

• Le framework BigData
• Les piliers : HDFS, Yarn et Mapreduce
• HDFS : architecture, découpage en block, réplication
• YARN : le chef d’orchestre des tâches Hadoop
• Mapreduce : un template de programmation pour les traitements en parallèles
• L’écosystème Hadoop : Hive, impala, …

Spark

• Un autre framework pour paralléliser les traitements
• Plusieurs langages : Python, Scala, Java
  RDD et DAG : les principes fondamentaux de Spark
• Dataframe et Dataset : structuration et typage des données
• Infrastructure d’exécution : Spark sur Yarn, mesos

Intelligence Artificielle

• Machine learning et Deep Learning
• Les librairies : Scikit learn et sparkml
• Régression | Classification | Clustering
• Analyse, nettoyage et préparation des données
• Apprentissage et scoring

790 € HT

Retengr vous permet aussi de suivre cette formation à distance, sous forme de classe virtuelle (6 participants maximum), avec un formateur expert sur le sujet. La formation se déroule via une connexion en visio conférence (ZOOM, GoogleMeet, Teams ou autres) et vous permet d’alterner théorie et pratique de façon accompagnée ou autonome, le tout dans le respect des objectifs pédagogiques et des évaluations des acquis.

Les émargements, évaluations, attestation de formation, remises des supports de cours et autres documents se feront en ligne.

En ce qui concerne le matériel informatique du participant, il est seulement préconisé un ordinateur et une connexion internet. Nous nous chargeons du reste.

Chaque participant se verra attribuer une Machine Virtuelle qui sera exécutée dans le Cloud d’Amazon. Il disposera alors de la puissance et des outils nécessaires pour le bon déroulement de la formation. Aucune installation de la part du participant n’est requise avant la formation.

Une journée type de formation à distance se décompose de la façon suivante :

Matin :

• 2h de théorie en visioconférence
• 10 à 15 minutes de présentation d’exercices en visio
• 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d’écran à distance pour une assistance efficace).

Après-midi :

• 2h de théorie en visioconférence
• 10 à 15 minutes de présentation d’exercices en visio
• 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d’écran à distance pour une assistance efficace).