Ingénierie de la fouille et de la visualisation de données massives - RCP216

Cet enseignement s'intéresse à l'impact des caractéristiques des données massives (volume, variété, vélocité) sur les méthodes de fouille de données. Sont examinées les approches actuelles qui permettent de faire passer à l'échelle les méthodes de fouille, en insistant sur les spécificités des opérations de fouille en environnement distribué. Les caractéristiques mentionnées sont ensuite considérées de façon plus spécifique pour certains problèmes fréquents dans le traitement des données massives. Sont ainsi abordés les systèmes de recommandation et la recherche efficace par similarité, la classification automatique et l'apprentissage supervisé sur une plate-forme distribuée, les opérations spécifiques au traitement des données textuelles souvent hétérogènes, les implications de la vélocité sur la fouille de flux de données, l'analyse de grands graphes et de réseaux sociaux. L'UE s'intéresse ensuite au rôle de la visualisation et de l'interaction, non seulement dans la présentation des résultats, mais aussi dans les opérations de fouille de données.

1. Introduction : applications, typologie des données, typologie des problèmes 2. Approches : réduction de la complexité, distribution 3. Passage à l'échelle de quelques problèmes fréquents a. Recherche par similarité, systèmes de recommandation b. Classification automatique c. Fouille de données textuelles d. Fouille de flux de données e. Apprentissage supervisé à large échelle f. Fouille et visualisation de graphes et réseaux sociaux 4. Visualisation d'information : historique, applications, outils 5. Aspects éthiques dans la fouille de données. Le cours est complété par des travaux pratiques (TP) permettant de mettre en pratique des techniques présentées. Pour la partie fouille de données, les TP seront réalisés à l'aide de Apache Spark. Pour le travail sur le projet les auditeurs peuvent utiliser le JupyterHub du Cnam.

Attestation de formation

Bonnes connaissances mathematiques et statistiques generales, maitrise de methodes statistiques pour la fouille de donnees, connaissance de techniques de gestions de donnees massives faiblement structurees, connaissance de techniques de passage a l echelle par distribution. Capacite a utiliser le systeme d exploitation Linux, connaissance d au moins un langage de programmation. Vous etes encourages a evaluer votre capacite a suivre cette UE en repondant au questionnaire en ligne accessible sur http://cedric.cnam.fr/vertigo/Cours/RCP216/questionnaire.html. Vous pouvez repondre sans vous identifier, les reponses vous sont donnees immediatement et les resultats ne sont pas enregistres.