0% ont trouvé ce document utile (0 vote)
66 vues47 pages

PFE v1

Transféré par

bokalbokali710
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd
0% ont trouvé ce document utile (0 vote)
66 vues47 pages

PFE v1

Transféré par

bokalbokali710
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd

Projet de Fin d’Etudes pour l’obtention du diplôme de Licence

Filière : Méthodes Informatiques Appliquées à la Gestion des Entreprises


(MIAGE)

DATA
PROFILI
NG,
DATA
QUALITY
, POWER
Réaliser par : Encadrer par :
- Mr. BAHHIDE Abderrazak
-

BI Membres du Jury :
………………………………
PROJECT

Année universitaire :
2023-2024
Résumé
TAQA Morocco, une entreprise leader dans le secteur de l'énergie. Mon projet se concentre
sur l'analyse approfondie des données du système de Gestion de Maintenance Assistée par
Ordinateur (GMAO). Ce projet vise à identifier les anomalies, à documenter les spécificités
des éléments de données et à découvrir les métadonnées, en documentant les caractéristiques
structurelles et sémantiques de chaque attribut de données analysé.

L'objectif est également de développer un processus ETL (Extract, Transform, Load) et un


entrepôt de données (data warehouse) pour la restitution de KPI (Key Performance Indicators)
de maintenance via Power BI. Ces outils permettront de créer des tableaux de bord interactifs
et des rapports détaillés, facilitant ainsi la prise de décision et l'optimisation des processus de
maintenance.

Ce projet a pour ambition d'améliorer la gestion de la maintenance par une analyse rigoureuse
des données et la mise en place de solutions avancées pour le traitement et la visualisation des
informations critiques. Les livrables définis permettront de garantir une qualité optimale des
données et de fournir des outils puissants pour une gestion efficace de la maintenance.

Ce projet s'inscrit dans le cadre de la préparation de mon projet de fin d'études en vue de
l'obtention du diplôme de licence en Méthodes Informatiques Appliquées à la Gestion des
Entreprises (MIAGE) pour l'année académique 2023/2024, à l'Université Internationale de
Casablanca (UIC).
Abstract
As part of my final year project, I had the opportunity to complete an internship at TAQA
Morocco, a leading company in the energy sector. My project focuses on an in-depth analysis
of the Computerized Maintenance Management System (CMMS) data. This project aims to
identify anomalies, document the specifics of data elements, and discover metadata by
documenting the structural and semantic characteristics of each analyzed data attribute.

The goal is also to develop an ETL (Extract, Transform, Load) process and a data warehouse
for the presentation of maintenance KPIs (Key Performance Indicators) via Power BI. These
tools will enable the creation of interactive dashboards and detailed reports, thus facilitating
decision-making and optimizing maintenance processes.

This project aims to improve maintenance management through rigorous data analysis and the
implementation of advanced solutions for processing and visualizing critical information. The
defined deliverables will ensure optimal data quality and provide powerful tools for efficient
maintenance management.

This project is part of the preparation of my final year project for the completion of a
Bachelor's degree in Computer Methods Applied to Business Management (MIAGE) for the
2023/2024 academic year at the International University of Casablanca (UIC).
Remerci
ements
Exprimer sa gratitude envers toutes les personnes impliquées dans la réalisation d'un projet est
toujours un exercice délicat. Tout d'abord, je souhaite exprimer mes sincères remerciements à
Monsieur ABDERRAZAK BAHHID, mon superviseur de stage, pour ses conseils avisés, son
soutien constant et sa confiance en moi, pour avoir partagé son expertise et ses compétences,
ainsi que pour le temps précieux qu'il m'a accordé tout au long de mon stage, répondant à
toutes mes questions avec patience.

Je tiens à exprimer ma profonde gratitude à mon encadrante académique , Madame .. .., pour
son encadrement exceptionnel tout au long de ce projet de fin d’études. Ses conseils, sa
réactivité et sa méthodologie ont été des guides précieux pour mener à bien un travail de
recherche conforme aux normes scientifiques.

Je tiens à exprimer ma profonde gratitude à Madame EL OUKKAL Sanae, notre chef de


filière, pour son soutien et son engagement tout au long de ma formation en MIAGE. Sa
disponibilité, ses conseils et son leadership ont grandement contribué à mon
parcours académique.

Je souhaite également remercier sincèrement tous les membres du jury qui ont généreusement
accepté d'évaluer mon travail.

Enfin, je remercie chaleureusement ma famille et tous ceux qui ont contribué, de près ou de
loin, à la réalisation de ce projet. Veuillez recevoir l'expression de ma reconnaissance sincère.
Tables
des
Matière
Résumé.....................................................................................................................................................2
Abstract....................................................................................................................................................3

s
Remerciements........................................................................................................................................4
Table des Matières .................................................................................................................................5
Introduction ............................................................................................................................................6

Chapitre I : Présentation du TAQA MOROCCO..............................................................................7


1- Présentation du Taqa Morocco...........................................................................................................
2- Réalisation de l’entreprise .................................................................................................................
3- Fiche signalétique ..............................................................................................................................
4- Historique de TAQA MOROCCO ...................................................................................................
5- Vue d'ensemble du sujet....................................................................................................................

Chapitre II : Description du projet.....................................................................................................12


1- Description du problème .................................................................................................................
2- Analyse du contexte actuel ..............................................................................................................
3- Analyse critique de la situation actuelle ..........................................................................................
4- Solution proposée ............................................................................................................................
5- Spécification des besoins .................................................................................................................
5.1- Les besoins fonctionnels ...................................................................................................15
5.2- Les besoins non fonctionnels ............................................................................................16
6- Diagramme de réseau PERT.............................................................................................................
7- Conclusion........................................................................................................................................

Chapitre III : Outils et logiciels utilisés ......................................................................................18


1- Introduction................................................................................................................................19
2- Description détaillée des outils et logiciels utilisés...................................................................20
2.1- SQL Server ........................................................................................................................20
2.2- Python et Jupyter Notebook...............................................................................................21
2.3- Visual Studio......................................................................................................................22
2.4- Power BI.............................................................................................................................22
3- Conclusion.................................................................................................................................23
Chapitre IV : Etude conceptuelle et réalisation / Etude de cas....................................................24
1- Introduction ...............................................................................................................................25
2- Data Quality...............................................................................................................................25
2.1- Etude de la table EQM...........................................................................................................
2.1.1- La colonne « eqm_drire »...............................................................................................
2.1.2- La colonne « eqm_cls_id » ...............................................................................................
2.2- Etude de la table WOM.............................................................................................................
2.2.1- La colonne « wom_short_dsc » .......................................................................................
2.2.2- Les colonnes « wom_tme_create » et « wom_cmpl_tme » ...........................................
2.3- Etude de la table WOL.............................................................................................................
2.3.1- La colonne « wol_sch_uid » .............................................................................................
2.3.2- La colonne « wol_act_add_cst », « wol_act_lbr_cst », « wol_act_hr_lbr »,
« wol_act_nstk_cst » et « wol_act_stk_cst » :
2.4- Etude de la table DTM ...........................................................................................................
3- Data Profiling avec PYTHON ......................................................................................................
4- Création d’une nouvelle base de données champsprofiling2 .......................................................
5- SQL SERVER INTEGRATION SERVICES (SSIS) ....................................................................
6- SQL SERVER ANALYSIS SERVICES (SSAS) ..........................................................................
Introduc
tion
Ce rapport de stage, réalisé au sein de TAQA, porte sur l’analyse approfondie des données du
système de gestion de maintenance assistée par ordinateur (GMAO). L’objectif principal de ce
projet est d’identifier les anomalies, de comprendre les spécificités des différents éléments de
données et d’analyser les métadonnées pour documenter les caractéristiques structurelles et
sémantiques de chaque attribut de données. En parallèle, le projet vise à développer un
processus ETL (Extract, Transform, Load) et un data warehouse pour la restitution des
indicateurs de performance clés (KPI) de maintenance à l’aide de Power BI.

L'analyse des données GMAO permet d'améliorer la fiabilité et l'efficacité des opérations de
maintenance en fournissant des insights basés sur des données précises et complètes. En
identifiant les anomalies, nous pouvons prévenir des pannes potentielles et optimiser les
interventions de maintenance. De plus, la documentation des caractéristiques des données
assure une meilleure gestion de l'information et facilite la prise de décisions éclairées.

Le développement de l’ETL est essentiel pour centraliser et structurer les données, permettant
ainsi une analyse plus approfondie et une visualisation claire des KPI à travers Power BI.
Cette approche contribue non seulement à la transparence des opérations mais aussi à
l'amélioration continue des processus de maintenance en fournissant des tableaux de bord
interactifs et des rapports détaillés.

Cette structure permettra de garantir une compréhension claire des objectifs, des stratégies de
qualité des données, et des outils utilisés pour la mise en œuvre du projet. Elle assurera
également une documentation détaillée et une restitution efficace des KPI de maintenance via
Power BI, contribuant ainsi à l’amélioration continue des processus de maintenance au sein de
TAQA. En définitive, ce projet vise à instaurer une culture de la donnée au service de la
performance et de la fiabilité des équipements, tout en optimisant les ressources et les coûts.

Organisation du rapport est structurée autour des éléments suivants :


- Premier chapitre : Présentation générale du Taqa Morocco, ou s’est déroulé mon stage,
et introduit le contexte général du sujet
- Deuxième chapitre :
Chapitre I : Présentation de la
société TAQA MOROCCO

Ce chapitre est dédié à la présentation détaillée de cette société, qui occupe une
place prépondérante dans le paysage énergétique du Maroc. Vous découvrirez ainsi
son histoire, sa mission, ses valeurs ainsi que ses principaux domaines d'activité.
En parcourant ces lignes, vous comprendrez mieux le contexte dans lequel j'ai
évolué durant cette expérience professionnelle.
1- Présentation du TAQA MOROCCO :
Fondée en 1997, la Jorf Lasfar Energy Company (JLEC) occupe une position prédominante
dans le paysage énergétique marocain. En fournissant plus de 44% de la demande nationale
en énergie et en contribuant à 25% de la capacité installée du Royaume, elle est un pilier
essentiel du secteur. Depuis mai 2007, JLEC est intégralement détenue par Abu Dhabi
National Energy Company PJSC (TAQA), un leader mondial dans le domaine de l'énergie.

Avec ses 350 employés et six unités de production, JLEC se distingue en tant que plus
grande centrale thermique à charbon indépendante de la région MENA. Elle est également
le principal fournisseur de l'Office National d'Electricité (ONE), possédant une capacité
totale installée de 2 056 MW.

Face aux défis énergétiques du Maroc, JLEC poursuit son expansion à travers un projet
ambitieux d'extension de sa centrale thermique, comprenant deux nouvelles unités de
production. Cette initiative découle du Protocole d'Accord signé en mai 2009 entre TAQA,
JLEC et l'Office National de l'Electricité (ONE), démontrant ainsi son engagement envers le
développement énergétique du pays.

Jouant un rôle crucial dans le tissu social et économique régional, JLEC s'investit
activement dans des actions citoyennes. Sa proximité avec la ville d'El Jadida renforce son
engagement en faveur de la promotion de l'investissement, la création d'emplois et la
protection de l'environnement, faisant de JLEC une référence en matière de responsabilité
sociale et environnementale.

2-Réalisation du TAQA MOROCCO :


Les réalisations de TAQA Morocco sont vastes et significatives, marquant son impact positif
sur le paysage énergétique marocain. Voici quelques-unes de ses réalisations notables :
 Leadership dans la production électrique : Depuis sa fondation en 1997, TAQA
Morocco s'est affirmée comme le principal acteur de la production électrique privée au
Maroc, fournissant une part importante de l'électricité nécessaire au pays.

 Contributions au mix énergétique bas carbone : TAQA Morocco s'engage


activement à soutenir la stratégie nationale du Maroc en matière d'énergie bas carbone,
en investissant dans des solutions énergétiques durables et respectueuses de
l'environnement.
 Expansion et diversification des activités : La société a élargi ses activités pour
inclure non seulement la production d'électricité, mais aussi d'autres secteurs de
l'énergie, ce qui renforce sa position en tant qu'acteur polyvalent du marché
énergétique marocain.

 Partenariats stratégiques : TAQA Morocco a établi des partenariats stratégiques


solides avec d'autres entreprises du secteur énergétique, nationales et internationales,
ce qui lui permet de bénéficier de synergies et de collaborations fructueuses.

 Engagement envers la responsabilité sociale et environnementale : La société a


démontré un engagement fort envers la responsabilité sociale et environnementale à
travers divers projets et initiatives visant à améliorer les conditions de vie des
communautés locales et à préserver l'écosystème.

Ces réalisations témoignent de l'engagement continu de TAQA Morocco à jouer un rôle


essentiel dans le développement durable et la prospérité énergétique du Maroc.

3- Fiche signalétique :

Nom de la société TAQA MOROCCO


Date de création 1997
Siege social Thermal power plant of Jorf Lasfar. B.P
99 –Sidi Bouzid – El Jadida
Ville pays El Jadida / Maroc
Tel +212 523 389 000.
Site web [Link]
Statut juridique
Nombre de salarie
4- Historique de TAQA MOROCCO :

1997
Création de TAQA Morocco (ex Jorf Lasfar
Energy Company) et démarrage de la construction
des Unités 3&4.
2000-2001
Mise en service commerciale de l’Unité 3 et de
l’Unité 4.

2009-2010
Création de la filiale Jorf Lasfar Energy Company
5&6.

2012-2013
Prix « African Power Deal of the Year 2012 » pour le
financement du projet d’extension de la Centrale
Thermique de Jorf Lasfar JLEC 5 & 6 par la revue
Project Finance à Londres. Prix « Best Partnership
Award 2012 » du World Investment Conference North
Africa à Marrakech Introduction à la Bourse de
Casablanca.

2014
Mise en service commerciale des Unités 5&6.
Certification Qualité ISO 9001, Santé & Sécurité
OHSAS 18001, Environnement ISO 14001 pour
l’ensemble des activités de TAQA Morocco.

2015
Obtention du Label Responsabilité Sociale de
l’Entreprise de la CGEM.

2020
Prorogation à 2044 du contrat de fourniture d’énergie
électrique (PPA) des Unités 1 à 4 pour l’aligner à celui
des Unités 5&6.
2021
Renouvellement de la certification QSE de TAQA
Morocco avec la transition vers la nouvelle norme ISO
45001 V2018. TAQA Morocco reçoit la distinction
TOP Performer RSE 2021 décernée par V.E Moody’s.

2022
TAQA Morocco remporte 5 lots d’une capacité totale
de 96 MW dans le cadre de l’appel à projets du
programme multi sites Noor PV II.
5- Vue d’ensemble du sujet :
Le département IT de TAQA Morocco est essentiel pour garantir une infrastructure
informatique fiable, sécurisée et efficace, ainsi que pour soutenir les opérations
quotidiennes de l'entreprise grâce à des solutions technologiques innovantes. Parmi ses
responsabilités, on compte l'analyse approfondie des données du système de GMAO, le
développement d'un processus ETL et d'un datawarehouse, la restitution des KPIs sous
Power BI, l'implémentation d'outils technologiques tels que SSAS, SSIS, Python et SQL,
ainsi que l'assurance qualité des données. En résumé, le département IT est chargé de
mettre en place les outils et les processus nécessaires pour une analyse efficace des
données de maintenance, facilitant ainsi la prise de décisions basées sur des données
fiables et pertinentes au sein de l'entreprise.
Chapitre
II :
Descript
ion du
projet
1-Description du problème :
"Comment mettre en œuvre une analyse avancée des données du système de GMAO à
Taqa Morocco, en intégrant l'analyse des métadonnées, le développement d'un ETL et
d'un datawarehouse, ainsi que la création de tableaux de bord interactifs sous Power BI,
pour optimiser la gestion et la performance de la maintenance ?"
Cette problématique reflète les besoins spécifiques de Taqa Morocco en matière de gestion de
maintenance par ordinateur (GMAO) :
 Analyse approfondie des données de la GMAO : Examiner les données existantes
pour identifier les anomalies, comprendre les spécificités des données de maintenance,
et analyser les métadonnées pour documenter les structures et significations des
attributs de données.
 Développement d'un ETL et d'un datawarehouse : Créer une solution ETL robuste
pour extraire, transformer et charger les données de la GMAO dans un datawarehouse
centralisé, facilitant ainsi une analyse intégrée et une gestion efficace des données de
maintenance.
 Utilisation de Power BI pour la visualisation des KPIs : Développer des tableaux
de bord interactifs sur Power BI pour visualiser les KPIs de maintenance clés,
permettant aux décideurs de surveiller et d'améliorer les performances opérationnelles
et stratégiques de la maintenance à Taqa Morocco.
 Objectifs de qualité des données et stratégie globale : Mettre en place une stratégie
de qualité des données axée sur la complétude, l'exactitude, la cohérence et l'intégralité
des données, afin d'assurer la fiabilité des informations utilisées pour la prise de
décision et la planification stratégique.
Cette approche intégrée vise à optimiser l'efficacité des opérations de maintenance, à réduire
les coûts d'exploitation et à améliorer la disponibilité des équipements critiques, contribuant
ainsi à renforcer la compétitivité et la performance globale de Taqa Morocco dans son secteur
d'activité.

2-Analyse du contexte actuel :


Actuellement, Taqa Morocco fait face à des défis importants en matière de gestion de
maintenance, notamment en ce qui concerne la collecte et l'analyse des données à partir de
son système de GMAO. Le besoin crucial est d'identifier les anomalies potentielles dans les
opérations de maintenance, de partager efficacement les détails spécifiques des données entre
les départements concernés, et de documenter de manière exhaustive les métadonnées
associées.
Dans ce contexte, l'analyse des caractéristiques structurelles et sémantiques de chaque attribut
de données devient essentielle pour une compréhension approfondie et une utilisation efficace
des informations générées par le système de GMAO.
Par ailleurs, le développement prévu d'un processus ETL et d'un datawarehouse vise à
centraliser les données dispersées, facilitant ainsi la création de KPIs de maintenance
pertinents. Ces indicateurs seront intégrés à Power BI pour permettre une analyse en temps
réel et une prise de décision basée sur des données précises et complètes.
Cette analyse du contexte actuel met en lumière les défis et les opportunités clés pour Taqa
Morocco dans l'amélioration de sa gestion de maintenance par le biais d'une approche
technologique avancée et structurée.

3- Analyse critique de la situation actuelle :


L'analyse critique de la situation actuelle révèle plusieurs défis et opportunités pour Taqa
Morocco dans le domaine de la gestion de maintenance par ordinateur (GMAO).
Actuellement, la collecte et l'analyse des données provenant du système de GMAO présentent
des lacunes importantes. Il y a une nécessité urgente d'identifier et de corriger les anomalies
dans les processus de maintenance, ainsi que de partager efficacement les détails spécifiques
des données entre les différentes équipes et départements impliqués.
La documentation des métadonnées associées aux données est également essentielle pour une
compréhension approfondie de la structure et de la signification des informations recueillies.
Cela permettrait non seulement une gestion plus efficace des opérations de maintenance, mais
aussi une optimisation des ressources et une meilleure prise de décision stratégique.
En parallèle, le développement prévu d'un processus ETL (Extract, Transform, Load) et d'un
datawarehouse représente une initiative stratégique pour centraliser et harmoniser les données
dispersées. Cela facilitera la création de KPIs de maintenance pertinents qui pourront être
visualisés et analysés à travers Power BI, offrant ainsi des insights précieux pour améliorer
continuellement les performances opérationnelles et la gestion des actifs chez Taqa Morocco.
En conclusion, une approche critique et proactive est nécessaire pour surmonter les défis
actuels et exploiter les opportunités offertes par l'amélioration de la gestion de maintenance
par ordinateur chez Taqa Morocco.

4-Solution proposée :
La solution proposée pour le projet de gestion de maintenance par ordinateur chez Taqa
Morocco inclut l'automatisation de la collecte des données de maintenance, la mise en œuvre
de méthodes avancées pour détecter les anomalies de manière proactive, l'établissement d'un
système efficace de gestion des incidents et des travaux, une documentation méticuleuse des
métadonnées, la création de rapports interactifs via Power BI, l'assurance de l'interopérabilité
avec les systèmes existants, et la sécurisation des données sensibles afin d'améliorer la
fiabilité opérationnelle et de minimiser les interruptions.

5- Spécification des besoins :

5.1- Besoins fonctionnels :


 Amélioration de la collecte des données :
- Mise en place d'un processus de collecte automatisé et systématique des données à
partir du système de GMAO.
 Optimisation de l'analyse des données :
- Utilisation de techniques avancées d'apprentissage automatique pour détecter les
anomalies et les tendances dans les données de maintenance.
 Mise en place d'un ETL et d'un datawarehouse :
- Développement d'un processus ETL robuste pour l'extraction, la transformation et le
chargement des données de GMAO dans un datawarehouse centralisé.
- Utilisation de technologies comme SSIS (SQL Server Integration Services) pour
automatiser le flux de données et assurer la qualité des données.
 Utilisation de Power BI pour les KPIs de maintenance :
- Création de tableaux de bord interactifs et de rapports visuels dans Power BI pour
suivre les principaux indicateurs de performance (KPIs) liés à la maintenance.
- Intégration de fonctionnalités avancées telles que les visualisations personnalisées et
les analyses prédictives pour une prise de décision informée.

Ces solutions visent à transformer la gestion de maintenance par ordinateur chez Taqa
Morocco en utilisant des technologies avancées et des pratiques efficaces pour optimiser les
performances opérationnelles et stratégiques de l'entreprise.
5.6- Les besoins non fonctionnels :
 Performance : Assurer une réponse rapide du système même lors de volumes
élevés de données de maintenance.
 Sécurité : Protéger les données sensibles contre les accès non autorisés et assurer la
conformité aux normes de sécurité.
 Fiabilité : Garantir la disponibilité continue du système pour minimiser les
interruptions dans les opérations de maintenance.
 Extensibilité : Permettre au système de s'adapter facilement à la croissance future
des opérations et des données.
 Convivialité : Assurer une interface utilisateur intuitive et facile à utiliser pour les
différents niveaux d'utilisateurs.
 Interopérabilité : Intégrer harmonieusement avec les systèmes existants et futurs
pour une gestion efficace des données et des processus.
 Maintenance : Faciliter la maintenance et les mises à jour du système sans
perturber les opérations quotidiennes.
 Évolutivité : Permettre l'extension et la modification du système avec l'évolution
des besoins de l'entreprise.

6-Diagramme de réseau PERT :


Le diagramme PERT présente chaque activité avec sa durée estimée en semaines, organisées
séquentiellement pour illustrer l'ordre logique du projet de gestion de maintenance par
ordinateur chez Taqa Morocco. Cette représentation visuelle permet de visualiser clairement
les étapes requises et d'estimer la durée totale du projet, offrant ainsi une vue d'ensemble
structurée des différentes phases nécessaires à sa réalisation.

Activité Durée estimée


Analyse des besoins 2 semaines
Conception du système 3 semaines
Développement de l'ETL et du 4 semaines
datawarehouse
Développement de tableaux de 2 semaines
bords
Tests et validation 2 semaines
Rapport 4 semaines

Pour faciliter la compréhension des différentes tâches, voici la description


et l’objectif de chaque tâche :

 Analyse des besoins :


o Description : Cette phase implique la collecte et l'analyse des besoins spécifiques du
système de GMAO. Les exigences fonctionnelles et non fonctionnelles sont identifiées
en consultation avec les utilisateurs finaux et les parties prenantes.
o Objectif : Définir clairement les fonctionnalités attendues du système de gestion de
maintenance par ordinateur pour répondre aux besoins de l'entreprise.
 Conception du système :
o Description : La conception du système comprend la création de l'architecture
logicielle et matérielle du système de GMAO. Cela inclut la conception des bases de
données, des flux de données, et des interfaces utilisateur.
o Objectif : Définir une structure technique robuste et adaptée qui supporte les besoins
opérationnels et stratégiques de gestion de la maintenance.
 Développement de l'ETL et du datawarehouse :
o Description : Cette étape consiste à concevoir et à développer les processus ETL
(Extract-Transform-Load) pour l'extraction, la transformation et le chargement des
données dans le datawarehouse. Cela inclut la modélisation des données et la création
des flux de traitement.
o Objectif : Assurer une gestion efficace des données de maintenance en intégrant
diverses sources de données dans un entrepôt centralisé.
 Développement des tableaux de bord :
o Description : Durant cette phase, les tableaux de bord et les rapports sont conçus et
développés sous Power BI pour visualiser les KPIs et les métriques clés de la
maintenance.
o Objectif : Fournir aux utilisateurs finaux des outils visuels puissants pour surveiller et
analyser les performances de la maintenance de manière intuitive.
 Tests et validation :
o Description : Les tests sont réalisés pour vérifier la fonctionnalité, la performance et
la sécurité du système de GMAO. Les anomalies sont identifiées et corrigées avant la
mise en production.
o Objectif : Assurer que le système répond aux exigences spécifiées et fonctionne de
manière fiable dans un environnement réel.

7- Conclusion :
En conclusion de ce chapitre, nous avons examiné en détail le problème posé par la gestion de
maintenance assistée par ordinateur (GMAO). Nous avons analysé le contexte actuel en
identifiant les défis et les lacunes du système existant. À travers une analyse critique
approfondie, nous avons évalué les faiblesses et les opportunités d'amélioration. En réponse à
ces constatations, nous avons proposé une solution robuste qui inclut la spécification détaillée
des besoins fonctionnels et non fonctionnels. Cette approche vise à optimiser la gestion des
données, à améliorer l'efficacité opérationnelle et à répondre aux exigences spécifiques de
Taqa Morocco en matière de maintenance.
Chapitre III : Outils et
logiciels utilisés
1-Introduction :
Dans cette section, nous explorerons en détail les outils et logiciels essentiels qui ont été
utilisés dans le cadre du projet de gestion de maintenance assistée par ordinateur (GMAO)
chez Taqa Morocco. Chaque outil joue un rôle crucial dans la collecte, l'analyse, et la
visualisation des données, ainsi que dans le développement et la gestion des indicateurs clés
de performance (KPIs) de maintenance. Cette exploration permettra de comprendre comment
ces technologies ont été intégrées pour soutenir efficacement les objectifs du projet et
améliorer les processus de maintenance au sein de l'organisation.

2-Description détaillée des outils et logiciels


utilisés :
2.1- SQL Server :
SQL Server est une plateforme de gestion de base de données relationnelle développée par
Microsoft. Utilisée par de nombreuses organisations à travers le monde, SQL Server offre une
gamme complète de fonctionnalités pour le stockage, la manipulation et la gestion des
données. Cet outil joue un rôle central dans le cadre de nombreux projets informatiques,
offrant des capacités robustes pour la gestion des transactions, la création de rapports,
l'analyse de données, et bien plus encore. Ci-dessous, nous présentons une description
approfondie des principaux composants de SQL Server :
o SQL Server Management Studio 20 (SSMS) : SQL Server Management Studio
20 (SSMS) est l'outil principal pour l'administration et la gestion des bases de données
SQL Server. Il offre une interface utilisateur graphique robuste permettant de
configurer, surveiller, déployer et administrer diverses composantes de SQL Server.

o SQL Server Integration Services (SSIS) : SQL Server Integration Services


(SSIS) est une plateforme de Microsoft qui permet de développer des solutions
d'intégration de données robustes et performantes. Elle est utilisée pour l'extraction, la
transformation et le chargement (ETL) des données entre diverses sources et
destinations. SSIS offre des outils graphiques et des composants préconstruits pour
automatiser les flux de données, gérer les erreurs, planifier les tâches d'intégration et
surveiller les performances des processus d'ETL.

o SQL Server Analysis Services (SSAS) : SQL Server Analysis Services (SSAS)
est une plateforme de Microsoft utilisée pour la création, la gestion et l'analyse de
modèles de données multidimensionnels et tabulaires. SSAS facilite l'exploration
interactive des données, la génération de rapports analytiques avancés et la prise de
décision basée sur des données. Elle supporte des fonctionnalités telles que le
traitement en mémoire, les cubes OLAP (Online Analytical Processing), les modèles
de données tabulaires in-memory, et l'intégration avec d'autres outils de la suite
Microsoft BI.
2.2- Python et Jupyter Notebook :
Python et Jupyter Notebook sont des outils incontournables dans le domaine de l'analyse de
données et de la science des données. Python est un langage de programmation polyvalent qui
trouve de nombreuses applications dans le traitement et l'analyse de données, ainsi que dans
l'apprentissage automatique. Combiné avec Jupyter Notebook, un environnement interactif de
développement, Python devient une plateforme flexible pour la manipulation, l'analyse et la
visualisation des données. Des bibliothèques populaires comme Pandas pour la manipulation
des données tabulaires, Matplotlib pour la création de graphiques et SQLAlchemy pour
l'interaction avec les bases de données SQL enrichissent encore davantage les capacités de
Python dans l'analyse de données avancée et la création de workflows interactifs et
reproductibles.

2.3- Visual Studio :


Visual Studio est une suite intégrée de développement logiciel très prisée par les
professionnels de l'informatique et les développeurs. Cet environnement de développement
offre une large gamme d'outils et de fonctionnalités qui facilitent la création, le débogage et le
déploiement d'applications logicielles sur diverses plateformes.
Dans ce projet, j'ai utilisé Visual Studio principalement pour travailler avec deux composants
essentiels de Microsoft SQL Server : SQL Server Integration Services (SSIS) et SQL Server
Analysis Services (SSAS). SSIS est un outil puissant pour l'intégration de données, permettant
de créer des workflows pour l'extraction, la transformation et le chargement (ETL) des
données. Quant à SSAS, il s'agit d'une plateforme d'analyse qui facilite la modélisation
multidimensionnelle et le développement de cubes OLAP pour l'analyse avancée des données.

2.4- Power BI :

Power BI regroupe divers services logiciels, applications et connecteurs pour convertir


efficacement des sources de données variées en visualisations interactives et cohérentes. Que
les données proviennent de feuilles de calcul Excel ou d'entrepôts de données hybrides locaux
ou dans le cloud, Power BI simplifie la connexion à ces sources, la visualisation des données
clés, et facilite le partage des insights avec les parties prenantes pertinentes.
3-Conclusion :
Ce chapitre nous a offert une vue d'ensemble détaillée des technologies employées tout au
long du projet, ce qui a grandement facilité la compréhension de toute l'équipe. Grâce à des
explications détaillées et à des exemples concrets, nous avons pu nous familiariser avec les
outils, les langages de programmation et les plateformes technologiques utilisés dans ce
projet.
Chapitre IV : Etude conceptuelle
et réalisation / Etude de cas
1-Introduction :
Ce chapitre vise à offrir une vue détaillée et structurée des missions accomplies au cours de
mon stage. À travers cette description détaillée, je présenterai les missions qui m'ont été
confiées, les défis rencontrés, ainsi que les résultats obtenus. Ce chapitre propose une étude de
cas pratique qui applique les concepts théoriques à une situation concrète, en explorant
l'utilisation des tables EQM (Équipement), WOM (Ordre de Travail – maitre).

2-Data profiling :
2.1- Qu’est-ce que le data profiling ?
Le data profiling, ou profilage de données, représente une approche fondamentale en science
des données visant à examiner et à interpréter la configuration, la qualité et les propriétés des
données contenues dans un ensemble de données spécifique. Cette méthode implique la
collecte et l'analyse de données provenant de diverses sources telles que les bases de données
et les fichiers, afin de rassembler des statistiques et des informations détaillées. Cette analyse
approfondie permet de garantir que les données sont correctement préparées avant de les
utiliser pour des analyses plus avancées.
Dans ce projet, j'ai eu l'opportunité de réaliser le data profiling à l'aide de deux outils : SQL
Server et Python.

2.2- Profilage de données en utilisant SQL:


Le profilage de données en utilisant SQL consiste à analyser et à comprendre les caractéris-
tiques des données stockées dans une base de données SQL. Cela inclut généralement l'utilisa-
tion d'outils intégrés ou de requêtes SQL spécifiques pour effectuer diverses tâches de profi-
lage.
2.2.1- Le profilage de la table EQM :
Description de la table : la table EQM contient 68 colonnes et 13832 lignes.
Un aspect notable de cette table est la présence de plus de 20 colonnes entièrement vides, ce
qui nécessite une élimination impérative. Cela évitera un gaspillage de mémoire et stockage
de disque dur et améliorera la lisibilité des données.
D'après cette figure et mon analyse approfondie de cette table, j'ai identifié plusieurs erreurs
et anomalies dans plusieurs colonnes, même celles qui semblent remplies. Je vais maintenant
fournir un ou trois exemples de colonnes où des erreurs ont été identifiées.

 Les valeurs nulls :

On
remarque que dans cette colonne, il y a 115 valeurs nulles. Vu l’importance de champs
classification des équipements, Il serait judicieux de proposer de les remplir afin d'améliorer
la fiabilité et l'utilité des données globales et la complétude des données.
D’autres part l’existence de plusieurs champs qui sont bien renseigner et la donnée est
complète comme illustrée dans la figure en ci-après
 Normalisation des identifiants equipements :
On contact que plus de 90% des identifiants des équipements ont 12 caractères, et répond la
procédure de la nomenclature des équipements valider et signer, tandis que on remarque la
non application de la procédure pour une catégorie des équipements soit moins de 12
caractères ou plus de 12, Alors je suggère de standardiser la longueur des caractères à 12, et
mettre en place dans l’application un masque de saisi à respecter et qui force l’utilisateur à
suivre le masque pendant la saisie.

 Le contenu de la description des équipements vides :

Dans cet exemple, pour la colonne « eqm_eqp_nm, » on observe des noms vides, ce qui est
incohérent car il est attendu que chaque ID ait un nom correspondant. Cette non correspon-
dance entre les identifiants des équipements et la description pose des problèmes majeurs lors
la saisie des travaux sur ses équipements, je suggère de complément les descriptions man-
quantes, de rendre le champ obligatoire et d’instaurer une commission de suivi de la procé-
dure des nomenclatures
 Les données erronées et redondance :
Un autre constat et remarque sur la description des équipements, c’est la présence de la même
nom d’équipement associé à plusieurs identifiants donc la présence de plusieurs lignes
redondantes comme illustrée dans la figure en ci-après.
Cela souligne de l’importance de procéder à une vérification approfondie et à une mise à jour
des données pour garantir leur intégrité et leur fiabilité
2.2.2- Le profilage sur la table WOM :

Description de la table : La table WOM contient 62 colonnes et 3440 lignes.


Il faut supprimer les colonnes quasiment vides car ils occupent un très grand espace dans
notre base de données.
Comme relevé précédemment dans la table EQM, diverses erreurs et anomalies ont été
constatées. Maintenant, je vais examiner la table WOM pour illustrer également quelques
exemples de ces problèmes.
 Les valeurs nulls :

Vu l’importance de savoir qui à clôturer les travaux dans le système et de faire un


suivi précis des taches affectés à des personnes, on contact que 1063 ordre de
travaux sont clôturer mais on ne connaît pas la personne qui fait l’action.
Je suggère que le champ mentionnant la personne de clôture de travaux soit
automatiquement rempli par la personne connectée au système, cela va éviter le
contenue vide
Autre exemple concernant la classification des équipements
D’autre part l’existence de plusieurs champs complète comme illuster en ci-aprés
 Les fautes de frappes et mauvaise description de travaux:

Il est clair qu'il y a des erreurs de frappe et des données mal saisies et présences des carac-
tères. Je suggère d’ajouter un autre champ qui permet de catégoriser les descriptions (Fuite,
Nettoyage, Blocage,….) sous forme d’une liste déroulante qui permet aux personne juste de
sélectionner la catégorie, pour des besoins d’analyse, et instaurer un programme de formation
et sensibilisation des personnes sur l’importance de les description des travaux .
3.2- Profilage de données en utilisant Python :
Le profilage de données avec Python consiste à analyser la structure, la qualité et les caracté-
ristiques des données. C'est une étape essentielle en science des données pour comprendre les
données disponibles avant de les utiliser pour des analyses ou la construction de modèles. Py-
thon offre des outils comme Pandas et Matplotlib pour importer, explorer, et visualiser les
données.
Pour réaliser l'analyse de données, j'ai choisi d'utiliser l'un des environnements les plus effi-
caces, à savoir Jupyter Notebook, avec le langage de programmation Python. J'ai également
fait usage de plusieurs bibliothèques essentielles pour accomplir cette tâche.

 Connexion de ma base de données avec Python :


La première étape consiste à installer Jupyter Notebook, qui nous permettra d'extraire les
données de notre base de données et de les visualiser à l'aide des bibliothèques Python telles
que pandas et SQLAlchemy.

Cela m'a permis d'importer les données de plusieurs tables de la base de données dans des
DataFrames, ce qui simplifiera mon analyse .

Comme on peut observer dans cette illustration, j'ai écrit dans le code (query = "SELECT *
FROM eqm"), ce qui permet de profiler la table eqm. Cependant, je peux utiliser cette requête
cette requête pour d'autres tables également.
Le résultat de cette requête :

 La méthode Report Profile :


Cette étape consiste à l’importation d'un package essentiel, pandas-profiling, qui nous permet de
créer des rapports détaillés à partir des données de notre table. Grâce à cette méthode un Rapport
sera généré

Le rapport présente toutes les analyses effectuées sur les données de notre table, telles que le

nombre de colonnes (Number of variables), le nombre d'enregistrements (Number of observa-


tions), les cellules nulles (missing cells), ainsi que les types de données (numériques, boo-
léens, etc.).
Ci-dessous, un exemple de rapport de la table EQM :
Voici l’ensemble des colonnes de ma table :

Le diagramme « BAR » qui présente les valeurs nulles dans la table EQM :

Le code utilisé pour la réalisation du diagramme :


D'après ce diagramme, on observe un grand nombre de colonnes vides ou nulles qui n'ap-
portent aucune valeur. Certaines nécessitent d'être complètement remplies, tandis que d'autres
non. Il faut supprimer les colonnes vides ainsi que les colonnes quasiment vides car ils oc-
cupent un très grand espace dans notre base de données.
La longueur des chaines de caractères :

En ce qui concerne la longueur des identifiants, nous avons déjà observé que la plupart des
équipements ont des numéros à 15 caractères, tandis qu'un petit nombre d'entre eux dépassent
cette longueur, comme le montre ce diagramme.

Le code utilisé pour la réalisation du diagramme :


3-Création d’une nouvelle base de données
champsproflinig2 :
Afin de bien appliquer les recommandations proposées, il a été décider de créer une
nouvelle base de données et de faire les transformations et les corrections via un ETL.

La table EQM :
La table WOM :

4- SQL SERVER INTEGRATION


SERVICES (SSIS) :
SQL Server Integration Services (SSIS) est un outil ETL (Extract-Transform-Load) développé
par Microsoft, essentiel pour l'extraction, la transformation et le chargement des données entre
diverses sources de données.
En tant qu'outil ETL (Extract-Transform-Load), SSIS permet non seulement d'extraire des
données à partir de diverses sources comme des bases de données, mais aussi de les
transformer selon les besoins spécifiques du projet, avant de les charger vers une destination
cible. SSIS offre une interface graphique conviviale pour la création de flux de données
complexes, ainsi qu'une flexibilité accrue grâce à la possibilité d'écrire des scripts et de gérer
des workflows complexes.

 Import et transformation des données vers la nouvelle BD avec

SSIS :

On positionne les tâches de flux de données pour toutes les tables en établissant les
connexions nécessaires.
 La migration des données :
Pour chaque table on fait la migration des données de la base de données source vers la base
de données destination.
On précise la table source est la base de données précédente "Champsprofiling" et la table
destination est la nouvelle base de données "Champsprofiling2".
*

 L’utilisation des colonnes dérivée :


Pour les tables nécessitant des transformations, nous avons intégré la tâche "colonne dérivée"
afin de réaliser les modifications nécessaires vers la nouvelle base de donnée.

 Le contenu de la colonne dérivée :

La colonne dérivée sur la table EQM :


La colonne dérivée sur la table WOM :

 L’exécution de la copie des données avec SSIS :


 Nous constatons que les données ont été effectivement migrées vers la nouvelle base
de données.

5- Restriction des indicateurs sous POWER


BI)
Nombre des Ordres de travaux par année, mois par statut et métier
Nombre des Ordres de travaux par année, mois et type

Vous aimerez peut-être aussi