Projet de Fin d’Études
Pour l’Obtention du Titre
D’Ingénieur d’État en Informatique
Option e-Management & Business Intelligence
Build CI/CD Data Pipelines On AWS For
The Machine Learning & Analytics Team
2021/2022
Réalisé par: Encadré par: Membres de jury:
BENDER Moncef Mme. BENBRAHIM Houda (ENSIAS) Mr. KERZAZI Noureddine
Mr. CHOUIEKH Adil (IBM) Mr. BELLABDAOUI Adil
Plan de la présentation
1. Introduction général 3. Conception de la solution
Organisme d’accueil Modélisation fonctionnelle
Client AWS: Amazon Web Services
Problématique Modélisation technique
objectif
Procédure du travail
2. Analyse des besoins 4. Réalisation de la solution
Analyse de l'existant Datasets “Gas Infra”
critique de l’existant Pipelines
Solution proposée Déploiement en CI/CD
Enterprise data platform (EDP) Perspective
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 2
Introduction
général
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 3
Organisme d’accueil
IBM est la première
entité de conseil dans
le monde entier.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 4
Client
NextEra Energy
opère dans 49 états
aux Etats-Unis et
dans 4 provinces
canadiennes.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 5
ça peut signifier quoi…
1.000.000.000
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 6
Réseau intelligent du
NextEra Energy
- Plus de 155.000 systèmes intelligents
sont installés.
- Plus de 5 millions de capteurs
intelligents sont déployés.
Amélioration de la fiabilité de
- Environ 1 milliard des données près de 40 % depuis 2006.
collectées par jour.
Source: Rapport annuel 2021 NEE.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 7
Problématique
Gérer ce flux immense de données pour
assurer l’opération de l’équipe Machine
Learning & Analytics de NextEra Energy.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 8
Objectif
Permettre à l’équipe ML & Analytics de
consacrer plus de temps à l’analyse et à la
prise de décision, plutôt qu’à la collecte,
l’intégration et le nettoyage des données.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 9
Procédure du travail
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 10
Analyse des
besoins
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 11
Analyse de l'existant > Sources de données
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 12
Analyse de l'existant > Consommation des données
Un nombre important
d’interfaces point à point via
plusieurs plateformes de
données.
Source: Rapport annuel 2021 NEE.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 13
Critique de l’existant
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 14
Solution proposée
Une infrastructure de
données de base commune
(common core data
infrastructure)
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 15
Enterprise data platform (EDP)
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 16
Conception de
la solution
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 17
Modélisation fonctionnelle
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 18
Modélisation fonctionnelle > Data lake
Data Lake stocke toutes sortes de données et
ignore comment, quand et pourquoi les données
seront utilisées.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 19
Modélisation fonctionnelle
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 20
Modélisation fonctionnelle > Data domains
Un regroupement logique des
données selon les principaux
sujets d’intérêt pour
l’organisation
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 21
Modélisation fonctionnelle
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 22
Modélisation fonctionnelle > Data governance
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 23
Modélisation fonctionnelle
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 24
Modélisation fonctionnelle > CI/CD
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 25
Modélisation fonctionnelle > Datasets
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 26
Modélisation fonctionnelle
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 27
AWS: Amazon Web Services
Une plate-forme de cloud
computing complète et évolutive
fournie par Amazon.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 28
Modélisation technique
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 29
Réalisation de
la solution
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 30
Datasets Gas Infra
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 31
Pipeline > Données fondamentales
provenant de sources de SGBD
traditionnelles
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 32
Pipeline > Données fondamentales
provenant de sources non
traditionnelles
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 33
Pipeline > Combo Curve
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 34
Pipeline > Corva
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 35
Déploiement en CI/CD
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 36
Perspectives
- Créer d’autres datasets
- Concrétiser encore plus le concept CI/CD
- Assister l’équipe Machine Learning &
Analytics de NEE pour déployer les modèles
en CI/CD.
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation 37
Merci de votre attention
38
Bonus: Solution pour Corva
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation
Bonus: mot de tech project
manager
Moncef BENDER / PFE 2022 / Jul 04, 2022 / © 2022 IBM Corporation
Projet de Fin d’Études
Pour l’Obtention du Titre
D’Ingénieur d’État en Informatique
Option e-Management & Business Intelligence
Build CI/CD Data Pipelines On AWS For
The Machine Learning & Analytics Team.
2021/2022
Réalisé par: Encadré par: Membres de jury:
BENDER Moncef Mme. BENBRAHIM Houda (ENSIAS) Mr. KERZAZI Noureddine
Mr. CHOUIEKH Adil (IBM) Mr. BELLABDAOUI Adil
