Big Data : récolte et analyse de données volumineuses module Spark

• Comprendre le besoin de Spark dans le traitement des données • Comprendre l'architecture Spark et comment elle distribue des calculs aux nœuds du cluster • Familiarisez-vous avec l'installation / configuration / mise en page de Spark • Utilisez Spark pour des opérations interactives et ponctuelles • Utilisez Dataset / DataFrame / Spark SQL pour traiter efficacement les données structurées • Comprendre les notions de base des RDD (Resilient Distributed Datasets) et le partitionnement, le pipelining et les calculs de données • Comprendre la mise en cache des données de Spark et son utilisation • Comprendre les implications et les optimisations de performance lors de l'utilisation de Spark • Familiarisez-vous avec Spark Graph Processing et l'apprentissage par machine Spark ML

Jour 1 Comprendre les fondamentaux de Spark et du développement Scala * Scala Ramp up * Introduction à Spark * RDDs et Spark Architecture Jour 2 Savoir créer une application spark et utilisez Dataset/ DataFrame/ Spark SQL pour traiter efficacement les données structurées * DataSets/ DataFrames et Spark SQL * Création d'application Spark * Spark Streaming Jour 3 Optimisation de Spark et utilisation des outils associés * Caractéristiques de performance et optimisation * (Facultatif): Aperçu de Spark GraphX * (Facultatif): Apercu MLLib

Certification

Non communiquee