Université Cadi Ayyad Marrakech
Ecole Supérieure de Technologie Essaouira
LP ISIL Semestre 6
Module 8
Bases de Données Avancées
Chapitre III
Business Intelligence
Intégration et analyse des données
Pr: A. Guezzaz
Année: 2019 -2020
I. Outils d’Intégration des données: ETL
1. ETL (Extract Transform Load)
2. ETL sous SQL Server
II. Outils de navigation et d’analyse des données: OLAP
1. OLAP (On-Line Analysis Process)
2. Cube OLAP
3. Types OLAP
4. OLAP sous SQL Server
2
Outils d’Intégration des données
ETL
3
ETL (Extract Transform Load)
Il est important de savoir que la réalisation de l'ETL constitue 70%
d'un projet décisionnel en moyenne.
• Et ce n'est pas pour rien, l’implémentation de ce système est
complexe.
• Avoir une mauvaise information dans l'entrepôt:
données fausses, donc inutilisables, décisions erronées.
ETL permet de découvrir, analyser et extraire les données à
partir de sources hétérogènes.
ETL permet de nettoyer et standardiser les données.
ETL permet de charger les données dans un entrepôt.
5
ETL (Extract Transform Load)
Pour alimenter DW, un ETL (Extract Transform Load) est utilisé.
Décrit les données, leur provenance et les transformations effectuées.
Permet d’agréger, classifier, normaliser et nettoyer les données
extraites.
Les concepteurs doivent mettre en place une stratégie de mise à jour
pour l’historisation et prévoir la volumétrie.
Les ETL peuvent être intégrés aux outils de modélisation ou de
restitution.
6
ETL (Extract Transform Load)
Les ETL peuvent se concevoir de deux façons:
• Manuellement : en lançant des scripts ( PL/SQL, …).
• Avec des logiciels ( qui sont chers ).
Identifier les sources:
• Où ?: fichiers, SGBDR, ERP, Internet, …
• Comment?: LAN, MAN, WAN, transferts des fichiers.
• Quand ?
7
ETL (Extract Transform Load)
Problèmes rencontrés
Souvent peu d’entreprises ont des logiciels qui permettent la
création d’ETL, car ce sont des outils coûteux. Il faut souvent
réaliser l’alimentation à la main.
Penser à la volumétrie des sources de données et à la fréquence
de mise à jour.
Faire attention aux environnements trop mouvants, c’est à dire aux
mises à jour trop fréquentes.
Synchroniser l’alimentation de différents Data Mart sinon on peut
obtenir des rapports faux dans la phase de restitution.
8
ETL (Extract Transform Load)
Extraction
Extraire des données des systèmes de production.
Dialoguer avec différentes sources:
• Base de données,
• Fichiers,
• ……
Utilise divers connecteurs:
• ODBC,
• OLE DB
• SQL natif,
• Fichiers plats
9
ETL (Extract Transform Load)
Transformation
Rendre cohérentes les données des différentes sources.
• Transformer, nettoyer, trier, unifier les données.
• Exemple: unifier le format des dates.
(MM /JJ /AA JJ /MM /AA)
Etape très importante qui garantit la cohérence et la fiabilité des
données.
10
ETL (Extract Transform Load)
Chargement
Insérer ou modifier les données de l’entrepôt.
Utilisation des connecteurs:
ODBC,
SQL natif,
Fichiers plats
11
ETL sous SQL Server
SQL Server Intégration Services
(SSIS)
un outil de gestion de flux de données.
12
Outils de navigation d’analyse des données
OLAP
13
OLAP (On-Line Analysis Process)
14
OLAP (On-Line Analysis Process)
« Il s’agit d’une catégorie de logiciels axés sur l’exploration et
l’analyse rapide des données selon une approche
multidimensionnelle à plusieurs niveaux d’agrégation »
(Caron, 1998)
15
OLAP (On-Line Analysis Process)
Objectifs attendus
Catégorie de logiciels:
S’exprime par une grande quantité de produits logiciels
disponibles sur le marché.
Exploration et analyse rapide :
OLAP vise à assister l’utilisateur dans son analyse en lui
facilitant l’exploration de ses données et en lui donnant la
possibilité de les traiter rapidement.
Facilité et Rapidité.
16
OLAP (On-Line Analysis Process)
Objectifs attendus
Facilité:
• L’utilisateur n’a pas besoin de maîtriser des langages
d’interrogation et des interfaces complexes.
• L’utilisateur interroge directement les données.
Rapidité:
• OLAP exploite une pré-agrégation des données.
• L’utilisateur peut se concentrer sur son analyse et non sur le
processus (moyens utilisés pour l’analyse).
17
Cube OLAP
Dimension:
• Axe d’analyse selon lequel les données seront analysées.
– Ex. Temps, Produits
Membre:
• Valeur de dimension
• Une dimension possède des instances, également appelées
membres.
Mesure / Fait:
– Ex. coût des travaux, nombre d’accidents, ventes, dépenses.
Cube:
• Un ensemble de mesures organisées selon un ensemble de
dimensions.
– Ex. Un cube de ventes qui comprend:
» Dimensions Temps, Produit, Magasin.
18
» Mesure Ventes en Dh.
Cube OLAP
Les cubes OLAP ont les caractéristiques suivantes:
1. Obtenir des informations déjà agrégées selon les besoins de
l’utilisateur.
2. Simplicité et rapidité d’accès.
3. Capacité à manipuler les données agrégées selon différentes
dimensions.
4. Un cube utilise les fonctions classiques d’agrégation: MIN,
MAX, COUNT, SUM, AVG.
19
Cube OLAP
Comment peut-on utiliser ce cube ?
Nous allons nous intéresser aux diverses vues du cube ci-dessous:
.
20
Cube OLAP
Vue n° 1 :
On s'intéresse à toutes les ventes du
magasin x.
Toutes catégories durant touts les mois).
Vue n° 2 :
On s'intéresse aux ventes de la catégorie
« Cat y».
Tous les magasins durant touts les mois.
21
Cube OLAP
Vue n° 3:
On s'intéresse à toutes les ventes durant le
mois z.
Toutes catégories et dans tous les
magasins.
Vue n° 4:
On s'intéresse aux ventes du magasin x.
Dans la catégorie « Cat y" durant le mois z.
22
Cube OLAP
Multi‐représentations du Cube Ventes
23
Cube OLAP
But: Visualisation et utilisation d'un fragment de l'Hypercube.
Roll-up: Supprimer des détails d'une dimension, passage de
mesures détaillées à résumées en remontant dans la hiérarchie de
dimension.
Drill-down: Ajouter des détails à une dimension, descendre dans
la hiérarchie de la dimension.
Drill-across: passer d’un membre de dimension à un autre.
Rotate (Pivoter): Rotation des dimensions (axes) du cube pour
fournir une vue alternative des données.
Slicing: Sélection des tranches du cube par des prédicats selon
une dimension et extraction d’une tranche d’informations.
Dicing (ou Scoping): extraction d'un sous-cube.
Distribuer ou recalculer des valeurs de mesures,…
24
Cube OLAP
Opération d'agrégation: Roll up
Roll up (Forage vers le haut) ou agrégation de données: Passage de
mesures détaillées à résumées en remontant dans la hiérarchie de la
dimension. (Ex. visualiser les ventes par année au lieu de par mois).
Roll up sur la dimension ‘’Produits’’
25
Cube OLAP
Opération d'agrégation: Roll up
Roll up sur les deux dimensions ‘’Produits’’ et ''Dates''
Roll up sur les trois dimensions ''Produits'',''Dates'' et ''Villes''
26
Cube OLAP
Opération d'agrégation: Drill-Down
Drill down: forage de données vers le bas.
Drill down sur la mesure ‘CA’ selon la dimension ‘’ville ‘’
Le résultat du Drill down donne:
27
Cube OLAP
Opération d'agrégation: Drill-Down
Drill down sur la mesure ‘CA’ selon la valeur ''Lyon'‘ de la
dimension ‘’ville ‘’
Le résultat du Drill down donne:
28
Cube OLAP
Opération d'agrégation: Slice & Dice
Slice & Dice :Opération de sélection et de projection des données:
Ville =''Paris'' et Dates <10/03/2008
29
Types OLAP
L’architecture OLAP consiste en trois services :
1.Base de données :
Doit supporter les données agrégées ou résumées.
Les données qu’il contient peuvent provenir d’un entrepôt
DW ou d’un marché de données (DM).
Doit posséder une structure multidimensionnelle.
2. Serveur OLAP :
Gère la structure multidimensionnelle dans le SGBD.
Gère l’accès aux données de la part des utilisateurs.
3. Module client :
Permet aux usagers de manipuler et d’explorer les données
Affichage sous forme de graphique et de tableaux.
30
Types OLAP
MOLAP (OLAP Multidimensionnel)
Selon le type de base de données accédé, plusieurs configurations
sont possibles:
Multidimensionnelle,
Relationnelle,
Hybride.
Base de données Serveur MOLAP Client OLAP
multidimensionnelle
(hypercube)
31
Types OLAP
ROLAP (OLAP Relationnel)
Serveur ROLAP
Client OLAP
Base de
données Vue
relationnelle multidimensionnelle
(étoile ou flocon)
32
Types OLAP
HOLAP (OLAP Hybride)
33
Types OLAP
Intelligent miner d’IBM:
• Classification, association, régression, analyse de séquences,
regroupement.
Entreprise miner de SAS:
• Multiples outils d’analyse statistique, classification, …
Clémentine de SPSS:
• En plus des fonctionnalités classiques, l’utilisateur peut rajouter
ses propres algorithmes.
DBMiner:
Il se distingue par le fait qu’il incorpore les fonctionnalités
d’OLAP. 34
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
35
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
36
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
37
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
38
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
39
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
40
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
41
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
Renommez le groupe de mesure Fact Facture en Facture.
Renommez les dimensions pour les rendre plus compréhensibles à
un non informaticien. 42
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
43
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
44
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
45
OLAP SOUS SQL SERVER
Cube avec SQL SERVER
Modèle propre et parfaitement manipulable par les
utilisateurs 46
fin
47