Gestion de Projet Big Data &
Développement d'applications Big Data
EDAH Kodjo
Consultant Système d’Information, Big Data
Objectifs (M1)
• Comprendre la notion et les spécificités
du Big Data
• Connaître les outils de collecte, de
traitement et d’exploitation des données
• Savoir utiliser les outils de visualisation
des données (Dataviz)
• Piloter et maîtriser les risques des
projets
Objectifs (M2)
• Comprendre la notion et les spécificités
du Big Data
• Connaître les technologies de
l’écosystème Hadoop
• Connaître le langage python et utiliser
les librairies de machine learning
• Savoir utiliser les outils de visualisation
des données (Dataviz)
Partie 1 : Définition et les enjeux du big
data
Partie 1 : Définition et les enjeux du big data
• Définition et contexte du Big Data
• Les spécificités d’un projet Big Data
• Propriété de la donnée,
environnement juridique du
traitement, sécurité
Définition et contexte du Big Data
• Big data : signifie littéralement « mégadonnées » ou « Grosses données »
• Octobre 1997 dans la bibliothèque numérique de l’ACM
• Augmentation massive des données
• [Link]
Qu’est-ce que le Big Data
Caractéristiques du big data : les 3V
• La définition de Gartner, circa 2001 : le Big Data
regroupe des données présentant une grande variété,
arrivant en volumes croissants, à grande vitesse.
• [Link]
Définition et contexte du Big Data
Caractéristiques du big data : les 5V
• Volume : énormément de données (Péta => Exa)
• Vitesse (Vélocité) : temps réel, flot important de données
• Variété : sources, natures et formats hétérogènes (structurées et non structurées)
• Valeur : recherche de profit, corrélations
• Véracité : fiabilité, confiance, authenticité, validité, précision
• ….
• [Link]
Quelques faits sur les données
• 90% des données mondiales ont été créées au cours des
deux dernières années
• Chaque minute, 400h de vidéos sont uploadées sur
Youtube
• Août 2015 : 1 milliards d’utilisateur par jour sur
Facebook
• 75% des entreprises comptent implémenter l’IA et le Big
Data
• [Link]
• [Link]
Quelques faits sur les données
Cas d’utilisation du big data
• La recommandation et le développement de produits :
❑Netflix : anticiper la demande des clients grâce aux
modèles prédictifs
❑Amazon : livraison anticipée
❑Uber (Uber pool)
• [Link]
• [Link]
• *[Link]
Cas d’utilisation du big data
• La maintenance prédictive : Analyse des données structurée ( année de
fabrication, marque, modèle …) et non structurée ( millions d’entrée de
journaux, la température, les messages d’erreur ….) peuvent permettre de
déployer la maintenance de manière plus rentable et d’optimiser le temps de
fonctionnement des pièces et équipements
❑ SNCF
❑ Airbus (Skywise Predictive Maintenance)*
• [Link]
• [Link]
• *[Link]
Cas d’utilisation du big data
• Expérience client
❑ Collecter les données (réseaux sociaux, visites web, appels, etc.)
❑ Qualifier l’expérience vécue par le client
• [Link]
Cas d’utilisation du big data
• Fraude et conformité:
Identifier des modèles dans les données
qui indiquent une fraude et à agréger de
grands volumes d’informations
permettant d’accélérer le reporting
réglementaire
• [Link]
Cas d’utilisation du big data
• Machine Learning
[Link]
Source : inconnu
• [Link]
Les domaines d’application du big Data
❑La santé : ❑ Le transport
– médecine préventive et – Analyse des pass permettant la
personnalisée géolocation des personnes
– Détection d’épidémie de grippe à – Modelisation des deplacements des
partir des recherches des internautes populations pour ajuster les horaires
et infrastructures
❑ L’IA Bluedot avait prédit l’épidémie
Coronavirus
Source : [Link]
• [Link]
• [Link]
Les domaines d’application du big Data
❑ Energie ❑ Aéronautique
❑ Gestion de réseaux ❑ Données météoriques et capteurs
énergétiques complexes via les permettant de déterminer les couloirs
réseaux électriques intelligents adéquats en temps réel
(smartgrids)
Source : [Link]
Source : [Link]
Les domaines d’application du big Data
❑ Sécurité ❑ Finance et banques
❑ Repérer les éventuels prémices d’une ❑ Détection fraude à la carte
attaque ou d’une faille informatique. ❑ Personnalisation des services
❑ Proactive vs Réactive ❑ Marketing prédictif
Source : [Link]
Source : [Link]
-[Link]
Les domaines d’application du big Data
Spécificité d’un projet big data
Spécificité d’un projet big data
Avant le big data … Business Intelligence
• Ensemble des technologies (outils et méthodes) permettant aux entreprises d’analyser
les données au profit de leurs prises de décisions.
Datawarehouse
• [Link]
• [Link]
Business Intelligence (BI) et Big Data
Point Commun
❑ Récupérer et traiter des
données pour atteindre de
meilleures performances
❑ Utiliser les données pour aider
les entreprises dans leur prise
de décision
• [Link]
Différence entre Business Intelligence (BI) et Big Data
BI Big data
Descriptive Approche Exploratrice
Datawarehouse Stockage Système distribué
Généralement Structuré Type de donnée Structuré et non structuré
Métiers Compétence Data scientist, Métiers
Historique Temps Historique et en temps réel
Technologies, compétences et métiers
Technologies, compétences et métiers
Source : M Roodnejad, S. Sakly - 2018
A partir de quand peut-on parler de Big data ?
Nom Symbole Valeur Mésusage
kilooctet ko 103 210
mégaoctet Mo 106 220
gigaoctet Go 109 230
téraoctet To 1012 240
pétaoctet Po 1015 250
exaoctet Eo 1018 260
zettaoctet Zo 1021 270
yottaoctet Yo 1024 280
A partir de quand peut-on parler de Big data ?
❑ 100 To ? Par jour/mois/année ?
❑ Les données considérées comme « Big » au début 2000
sont aujourd’hui requalifié de « Small »
❑ La notion de « Big » est donc relative !!!
❑ Rappel : Le big data consiste à traiter un ensemble de données plus ou moins structurées,
volumineuses qu'elles sont difficiles à travailler avec des outils classiques de gestion de base de
données
A vous de jouer (30min)
❑ Chercher un domaine d’application du Big data
❑ Chercher une technologie utilisée dans le domaine du Big Data
❑ Une actualité sur le Big Data
Questions ?
Merci
