PFE v1
PFE v1
DATA
PROFILI
NG,
DATA
QUALITY
, POWER
Réaliser par : Encadrer par :
- Mr. BAHHIDE Abderrazak
-
BI Membres du Jury :
………………………………
PROJECT
Année universitaire :
2023-2024
Résumé
TAQA Morocco, une entreprise leader dans le secteur de l'énergie. Mon projet se concentre
sur l'analyse approfondie des données du système de Gestion de Maintenance Assistée par
Ordinateur (GMAO). Ce projet vise à identifier les anomalies, à documenter les spécificités
des éléments de données et à découvrir les métadonnées, en documentant les caractéristiques
structurelles et sémantiques de chaque attribut de données analysé.
Ce projet a pour ambition d'améliorer la gestion de la maintenance par une analyse rigoureuse
des données et la mise en place de solutions avancées pour le traitement et la visualisation des
informations critiques. Les livrables définis permettront de garantir une qualité optimale des
données et de fournir des outils puissants pour une gestion efficace de la maintenance.
Ce projet s'inscrit dans le cadre de la préparation de mon projet de fin d'études en vue de
l'obtention du diplôme de licence en Méthodes Informatiques Appliquées à la Gestion des
Entreprises (MIAGE) pour l'année académique 2023/2024, à l'Université Internationale de
Casablanca (UIC).
Abstract
As part of my final year project, I had the opportunity to complete an internship at TAQA
Morocco, a leading company in the energy sector. My project focuses on an in-depth analysis
of the Computerized Maintenance Management System (CMMS) data. This project aims to
identify anomalies, document the specifics of data elements, and discover metadata by
documenting the structural and semantic characteristics of each analyzed data attribute.
The goal is also to develop an ETL (Extract, Transform, Load) process and a data warehouse
for the presentation of maintenance KPIs (Key Performance Indicators) via Power BI. These
tools will enable the creation of interactive dashboards and detailed reports, thus facilitating
decision-making and optimizing maintenance processes.
This project aims to improve maintenance management through rigorous data analysis and the
implementation of advanced solutions for processing and visualizing critical information. The
defined deliverables will ensure optimal data quality and provide powerful tools for efficient
maintenance management.
This project is part of the preparation of my final year project for the completion of a
Bachelor's degree in Computer Methods Applied to Business Management (MIAGE) for the
2023/2024 academic year at the International University of Casablanca (UIC).
Remerci
ements
Exprimer sa gratitude envers toutes les personnes impliquées dans la réalisation d'un projet est
toujours un exercice délicat. Tout d'abord, je souhaite exprimer mes sincères remerciements à
Monsieur ABDERRAZAK BAHHID, mon superviseur de stage, pour ses conseils avisés, son
soutien constant et sa confiance en moi, pour avoir partagé son expertise et ses compétences,
ainsi que pour le temps précieux qu'il m'a accordé tout au long de mon stage, répondant à
toutes mes questions avec patience.
Je tiens à exprimer ma profonde gratitude à mon encadrante académique , Madame .. .., pour
son encadrement exceptionnel tout au long de ce projet de fin d’études. Ses conseils, sa
réactivité et sa méthodologie ont été des guides précieux pour mener à bien un travail de
recherche conforme aux normes scientifiques.
Je souhaite également remercier sincèrement tous les membres du jury qui ont généreusement
accepté d'évaluer mon travail.
Enfin, je remercie chaleureusement ma famille et tous ceux qui ont contribué, de près ou de
loin, à la réalisation de ce projet. Veuillez recevoir l'expression de ma reconnaissance sincère.
Tables
des
Matière
Résumé.....................................................................................................................................................2
Abstract....................................................................................................................................................3
s
Remerciements........................................................................................................................................4
Table des Matières .................................................................................................................................5
Introduction ............................................................................................................................................6
L'analyse des données GMAO permet d'améliorer la fiabilité et l'efficacité des opérations de
maintenance en fournissant des insights basés sur des données précises et complètes. En
identifiant les anomalies, nous pouvons prévenir des pannes potentielles et optimiser les
interventions de maintenance. De plus, la documentation des caractéristiques des données
assure une meilleure gestion de l'information et facilite la prise de décisions éclairées.
Le développement de l’ETL est essentiel pour centraliser et structurer les données, permettant
ainsi une analyse plus approfondie et une visualisation claire des KPI à travers Power BI.
Cette approche contribue non seulement à la transparence des opérations mais aussi à
l'amélioration continue des processus de maintenance en fournissant des tableaux de bord
interactifs et des rapports détaillés.
Cette structure permettra de garantir une compréhension claire des objectifs, des stratégies de
qualité des données, et des outils utilisés pour la mise en œuvre du projet. Elle assurera
également une documentation détaillée et une restitution efficace des KPI de maintenance via
Power BI, contribuant ainsi à l’amélioration continue des processus de maintenance au sein de
TAQA. En définitive, ce projet vise à instaurer une culture de la donnée au service de la
performance et de la fiabilité des équipements, tout en optimisant les ressources et les coûts.
Ce chapitre est dédié à la présentation détaillée de cette société, qui occupe une
place prépondérante dans le paysage énergétique du Maroc. Vous découvrirez ainsi
son histoire, sa mission, ses valeurs ainsi que ses principaux domaines d'activité.
En parcourant ces lignes, vous comprendrez mieux le contexte dans lequel j'ai
évolué durant cette expérience professionnelle.
1- Présentation du TAQA MOROCCO :
Fondée en 1997, la Jorf Lasfar Energy Company (JLEC) occupe une position prédominante
dans le paysage énergétique marocain. En fournissant plus de 44% de la demande nationale
en énergie et en contribuant à 25% de la capacité installée du Royaume, elle est un pilier
essentiel du secteur. Depuis mai 2007, JLEC est intégralement détenue par Abu Dhabi
National Energy Company PJSC (TAQA), un leader mondial dans le domaine de l'énergie.
Avec ses 350 employés et six unités de production, JLEC se distingue en tant que plus
grande centrale thermique à charbon indépendante de la région MENA. Elle est également
le principal fournisseur de l'Office National d'Electricité (ONE), possédant une capacité
totale installée de 2 056 MW.
Face aux défis énergétiques du Maroc, JLEC poursuit son expansion à travers un projet
ambitieux d'extension de sa centrale thermique, comprenant deux nouvelles unités de
production. Cette initiative découle du Protocole d'Accord signé en mai 2009 entre TAQA,
JLEC et l'Office National de l'Electricité (ONE), démontrant ainsi son engagement envers le
développement énergétique du pays.
Jouant un rôle crucial dans le tissu social et économique régional, JLEC s'investit
activement dans des actions citoyennes. Sa proximité avec la ville d'El Jadida renforce son
engagement en faveur de la promotion de l'investissement, la création d'emplois et la
protection de l'environnement, faisant de JLEC une référence en matière de responsabilité
sociale et environnementale.
3- Fiche signalétique :
1997
Création de TAQA Morocco (ex Jorf Lasfar
Energy Company) et démarrage de la construction
des Unités 3&4.
2000-2001
Mise en service commerciale de l’Unité 3 et de
l’Unité 4.
2009-2010
Création de la filiale Jorf Lasfar Energy Company
5&6.
2012-2013
Prix « African Power Deal of the Year 2012 » pour le
financement du projet d’extension de la Centrale
Thermique de Jorf Lasfar JLEC 5 & 6 par la revue
Project Finance à Londres. Prix « Best Partnership
Award 2012 » du World Investment Conference North
Africa à Marrakech Introduction à la Bourse de
Casablanca.
2014
Mise en service commerciale des Unités 5&6.
Certification Qualité ISO 9001, Santé & Sécurité
OHSAS 18001, Environnement ISO 14001 pour
l’ensemble des activités de TAQA Morocco.
2015
Obtention du Label Responsabilité Sociale de
l’Entreprise de la CGEM.
2020
Prorogation à 2044 du contrat de fourniture d’énergie
électrique (PPA) des Unités 1 à 4 pour l’aligner à celui
des Unités 5&6.
2021
Renouvellement de la certification QSE de TAQA
Morocco avec la transition vers la nouvelle norme ISO
45001 V2018. TAQA Morocco reçoit la distinction
TOP Performer RSE 2021 décernée par V.E Moody’s.
2022
TAQA Morocco remporte 5 lots d’une capacité totale
de 96 MW dans le cadre de l’appel à projets du
programme multi sites Noor PV II.
5- Vue d’ensemble du sujet :
Le département IT de TAQA Morocco est essentiel pour garantir une infrastructure
informatique fiable, sécurisée et efficace, ainsi que pour soutenir les opérations
quotidiennes de l'entreprise grâce à des solutions technologiques innovantes. Parmi ses
responsabilités, on compte l'analyse approfondie des données du système de GMAO, le
développement d'un processus ETL et d'un datawarehouse, la restitution des KPIs sous
Power BI, l'implémentation d'outils technologiques tels que SSAS, SSIS, Python et SQL,
ainsi que l'assurance qualité des données. En résumé, le département IT est chargé de
mettre en place les outils et les processus nécessaires pour une analyse efficace des
données de maintenance, facilitant ainsi la prise de décisions basées sur des données
fiables et pertinentes au sein de l'entreprise.
Chapitre
II :
Descript
ion du
projet
1-Description du problème :
"Comment mettre en œuvre une analyse avancée des données du système de GMAO à
Taqa Morocco, en intégrant l'analyse des métadonnées, le développement d'un ETL et
d'un datawarehouse, ainsi que la création de tableaux de bord interactifs sous Power BI,
pour optimiser la gestion et la performance de la maintenance ?"
Cette problématique reflète les besoins spécifiques de Taqa Morocco en matière de gestion de
maintenance par ordinateur (GMAO) :
Analyse approfondie des données de la GMAO : Examiner les données existantes
pour identifier les anomalies, comprendre les spécificités des données de maintenance,
et analyser les métadonnées pour documenter les structures et significations des
attributs de données.
Développement d'un ETL et d'un datawarehouse : Créer une solution ETL robuste
pour extraire, transformer et charger les données de la GMAO dans un datawarehouse
centralisé, facilitant ainsi une analyse intégrée et une gestion efficace des données de
maintenance.
Utilisation de Power BI pour la visualisation des KPIs : Développer des tableaux
de bord interactifs sur Power BI pour visualiser les KPIs de maintenance clés,
permettant aux décideurs de surveiller et d'améliorer les performances opérationnelles
et stratégiques de la maintenance à Taqa Morocco.
Objectifs de qualité des données et stratégie globale : Mettre en place une stratégie
de qualité des données axée sur la complétude, l'exactitude, la cohérence et l'intégralité
des données, afin d'assurer la fiabilité des informations utilisées pour la prise de
décision et la planification stratégique.
Cette approche intégrée vise à optimiser l'efficacité des opérations de maintenance, à réduire
les coûts d'exploitation et à améliorer la disponibilité des équipements critiques, contribuant
ainsi à renforcer la compétitivité et la performance globale de Taqa Morocco dans son secteur
d'activité.
4-Solution proposée :
La solution proposée pour le projet de gestion de maintenance par ordinateur chez Taqa
Morocco inclut l'automatisation de la collecte des données de maintenance, la mise en œuvre
de méthodes avancées pour détecter les anomalies de manière proactive, l'établissement d'un
système efficace de gestion des incidents et des travaux, une documentation méticuleuse des
métadonnées, la création de rapports interactifs via Power BI, l'assurance de l'interopérabilité
avec les systèmes existants, et la sécurisation des données sensibles afin d'améliorer la
fiabilité opérationnelle et de minimiser les interruptions.
Ces solutions visent à transformer la gestion de maintenance par ordinateur chez Taqa
Morocco en utilisant des technologies avancées et des pratiques efficaces pour optimiser les
performances opérationnelles et stratégiques de l'entreprise.
5.6- Les besoins non fonctionnels :
Performance : Assurer une réponse rapide du système même lors de volumes
élevés de données de maintenance.
Sécurité : Protéger les données sensibles contre les accès non autorisés et assurer la
conformité aux normes de sécurité.
Fiabilité : Garantir la disponibilité continue du système pour minimiser les
interruptions dans les opérations de maintenance.
Extensibilité : Permettre au système de s'adapter facilement à la croissance future
des opérations et des données.
Convivialité : Assurer une interface utilisateur intuitive et facile à utiliser pour les
différents niveaux d'utilisateurs.
Interopérabilité : Intégrer harmonieusement avec les systèmes existants et futurs
pour une gestion efficace des données et des processus.
Maintenance : Faciliter la maintenance et les mises à jour du système sans
perturber les opérations quotidiennes.
Évolutivité : Permettre l'extension et la modification du système avec l'évolution
des besoins de l'entreprise.
7- Conclusion :
En conclusion de ce chapitre, nous avons examiné en détail le problème posé par la gestion de
maintenance assistée par ordinateur (GMAO). Nous avons analysé le contexte actuel en
identifiant les défis et les lacunes du système existant. À travers une analyse critique
approfondie, nous avons évalué les faiblesses et les opportunités d'amélioration. En réponse à
ces constatations, nous avons proposé une solution robuste qui inclut la spécification détaillée
des besoins fonctionnels et non fonctionnels. Cette approche vise à optimiser la gestion des
données, à améliorer l'efficacité opérationnelle et à répondre aux exigences spécifiques de
Taqa Morocco en matière de maintenance.
Chapitre III : Outils et
logiciels utilisés
1-Introduction :
Dans cette section, nous explorerons en détail les outils et logiciels essentiels qui ont été
utilisés dans le cadre du projet de gestion de maintenance assistée par ordinateur (GMAO)
chez Taqa Morocco. Chaque outil joue un rôle crucial dans la collecte, l'analyse, et la
visualisation des données, ainsi que dans le développement et la gestion des indicateurs clés
de performance (KPIs) de maintenance. Cette exploration permettra de comprendre comment
ces technologies ont été intégrées pour soutenir efficacement les objectifs du projet et
améliorer les processus de maintenance au sein de l'organisation.
o SQL Server Analysis Services (SSAS) : SQL Server Analysis Services (SSAS)
est une plateforme de Microsoft utilisée pour la création, la gestion et l'analyse de
modèles de données multidimensionnels et tabulaires. SSAS facilite l'exploration
interactive des données, la génération de rapports analytiques avancés et la prise de
décision basée sur des données. Elle supporte des fonctionnalités telles que le
traitement en mémoire, les cubes OLAP (Online Analytical Processing), les modèles
de données tabulaires in-memory, et l'intégration avec d'autres outils de la suite
Microsoft BI.
2.2- Python et Jupyter Notebook :
Python et Jupyter Notebook sont des outils incontournables dans le domaine de l'analyse de
données et de la science des données. Python est un langage de programmation polyvalent qui
trouve de nombreuses applications dans le traitement et l'analyse de données, ainsi que dans
l'apprentissage automatique. Combiné avec Jupyter Notebook, un environnement interactif de
développement, Python devient une plateforme flexible pour la manipulation, l'analyse et la
visualisation des données. Des bibliothèques populaires comme Pandas pour la manipulation
des données tabulaires, Matplotlib pour la création de graphiques et SQLAlchemy pour
l'interaction avec les bases de données SQL enrichissent encore davantage les capacités de
Python dans l'analyse de données avancée et la création de workflows interactifs et
reproductibles.
2.4- Power BI :
2-Data profiling :
2.1- Qu’est-ce que le data profiling ?
Le data profiling, ou profilage de données, représente une approche fondamentale en science
des données visant à examiner et à interpréter la configuration, la qualité et les propriétés des
données contenues dans un ensemble de données spécifique. Cette méthode implique la
collecte et l'analyse de données provenant de diverses sources telles que les bases de données
et les fichiers, afin de rassembler des statistiques et des informations détaillées. Cette analyse
approfondie permet de garantir que les données sont correctement préparées avant de les
utiliser pour des analyses plus avancées.
Dans ce projet, j'ai eu l'opportunité de réaliser le data profiling à l'aide de deux outils : SQL
Server et Python.
On
remarque que dans cette colonne, il y a 115 valeurs nulles. Vu l’importance de champs
classification des équipements, Il serait judicieux de proposer de les remplir afin d'améliorer
la fiabilité et l'utilité des données globales et la complétude des données.
D’autres part l’existence de plusieurs champs qui sont bien renseigner et la donnée est
complète comme illustrée dans la figure en ci-après
Normalisation des identifiants equipements :
On contact que plus de 90% des identifiants des équipements ont 12 caractères, et répond la
procédure de la nomenclature des équipements valider et signer, tandis que on remarque la
non application de la procédure pour une catégorie des équipements soit moins de 12
caractères ou plus de 12, Alors je suggère de standardiser la longueur des caractères à 12, et
mettre en place dans l’application un masque de saisi à respecter et qui force l’utilisateur à
suivre le masque pendant la saisie.
Dans cet exemple, pour la colonne « eqm_eqp_nm, » on observe des noms vides, ce qui est
incohérent car il est attendu que chaque ID ait un nom correspondant. Cette non correspon-
dance entre les identifiants des équipements et la description pose des problèmes majeurs lors
la saisie des travaux sur ses équipements, je suggère de complément les descriptions man-
quantes, de rendre le champ obligatoire et d’instaurer une commission de suivi de la procé-
dure des nomenclatures
Les données erronées et redondance :
Un autre constat et remarque sur la description des équipements, c’est la présence de la même
nom d’équipement associé à plusieurs identifiants donc la présence de plusieurs lignes
redondantes comme illustrée dans la figure en ci-après.
Cela souligne de l’importance de procéder à une vérification approfondie et à une mise à jour
des données pour garantir leur intégrité et leur fiabilité
2.2.2- Le profilage sur la table WOM :
Il est clair qu'il y a des erreurs de frappe et des données mal saisies et présences des carac-
tères. Je suggère d’ajouter un autre champ qui permet de catégoriser les descriptions (Fuite,
Nettoyage, Blocage,….) sous forme d’une liste déroulante qui permet aux personne juste de
sélectionner la catégorie, pour des besoins d’analyse, et instaurer un programme de formation
et sensibilisation des personnes sur l’importance de les description des travaux .
3.2- Profilage de données en utilisant Python :
Le profilage de données avec Python consiste à analyser la structure, la qualité et les caracté-
ristiques des données. C'est une étape essentielle en science des données pour comprendre les
données disponibles avant de les utiliser pour des analyses ou la construction de modèles. Py-
thon offre des outils comme Pandas et Matplotlib pour importer, explorer, et visualiser les
données.
Pour réaliser l'analyse de données, j'ai choisi d'utiliser l'un des environnements les plus effi-
caces, à savoir Jupyter Notebook, avec le langage de programmation Python. J'ai également
fait usage de plusieurs bibliothèques essentielles pour accomplir cette tâche.
Cela m'a permis d'importer les données de plusieurs tables de la base de données dans des
DataFrames, ce qui simplifiera mon analyse .
Comme on peut observer dans cette illustration, j'ai écrit dans le code (query = "SELECT *
FROM eqm"), ce qui permet de profiler la table eqm. Cependant, je peux utiliser cette requête
cette requête pour d'autres tables également.
Le résultat de cette requête :
Le rapport présente toutes les analyses effectuées sur les données de notre table, telles que le
Le diagramme « BAR » qui présente les valeurs nulles dans la table EQM :
En ce qui concerne la longueur des identifiants, nous avons déjà observé que la plupart des
équipements ont des numéros à 15 caractères, tandis qu'un petit nombre d'entre eux dépassent
cette longueur, comme le montre ce diagramme.
La table EQM :
La table WOM :
SSIS :
On positionne les tâches de flux de données pour toutes les tables en établissant les
connexions nécessaires.
La migration des données :
Pour chaque table on fait la migration des données de la base de données source vers la base
de données destination.
On précise la table source est la base de données précédente "Champsprofiling" et la table
destination est la nouvelle base de données "Champsprofiling2".
*