Business Intelligence
Les Entrepôts de Données (Data Warehouses)
2
Plan du Chapitre
Problématique des données dans un système décisionnel
Architecture fonctionnelle d’un système décisionnel
Les entrepôts de données
Business Intelligence
3
Problématique
des données dans
un système
décisionnel
ENTREPÔTS DE DONNÉES – DATA
WAREHOUSE
Business Intelligence
4
Systèmes
Opérationnels vs. Décisionnels
Systèmes opérationnels Systèmes décisionnels
Appelés OLAP (On-Line Analytical
Appelés OLTP (On-Line Transaction
Processing) ou systèmes de gestion Processing)
Dédiés à la gestion de l’entreprise pour
Dédiés aux métiers de l’entreprise pour
les assister dans leurs tâches de l’aider au pilotage de l’activité pour une
gestion quotidiennes vision transversale de l’entreprise
Utilisation des Entrepôts de données
Utilisation des PGI (ou ERP) pour la
gestion des données
Business Intelligence
5
Données
Opérationnelles vs. Décisionnelles
Données Opérationnelles Données Décisionnelles
Données détaillées Données globalisées
Données récentes Données historiques
Structure compréhensible et optimisée pour Structure compréhensible par le décideur
l’informaticien
Données centralisées, intégrées
Données réparties et non homogènes
Utilisateurs: Décideurs, analystes, peu
Utilisateurs: Agents opérationnels,
nombreux, et concurrents nombreux et non concurrents
Business Intelligence
6
Charge du Serveur de Données
Business Intelligence
7
Solutions
Stockage de données : Data Warehouse
Base de données unique - vocabulaire unique
Contenu adapté aux besoins des décideurs
Structure multidimentionnelle spéciale
Niveau de détail bien étudié
Données historiques
Interrogation des données :
Outil interactif, convivial
Outil offrant des fonctions d’analyse
Tri des données
Roll-up, Drill-down
Calcul et comparaison
Analyse des tendances, relations et exceptions
Simulation
Business Intelligence
8
OLTP vs. OLAP
OLTP : On Line Transaction Processing
Système destiné à offrir le moyen à une application d’utiliser de façon transactionnelle un
serveur de base de données. C’est un ensemble logiciel que l’utilisateur peut employer de façon
interactive pour accéder aux données de la manière la plus rapide et simple possible.
Exemple : Le 15/01/2012 à 13h12, le client X a retiré 500dt du compte Y
OLAP : On Line Analytical Processing
Catégorie de technologie logicielle permettant aux analystes, managers et décideurs d’accéder
de manière rapide, consistante et interactive à une large variété d’information, transformée
pour refléter la dimension réelle d’une entreprise.
Exemple : Quel est le volume des ventes par produit et par région durant le deuxième trimestre
de 2012?
Business Intelligence
OLTP vs. OLAP 9
OLTP OLAP
Conception - Orientée application (Application de - Orientée sujet (Client, produit,
production, de facturation…) vendeur…)
- Structure statique (E/R) - Structure évolutive (en étoile, en flocon)
Données - Détaillées, non agrégées - Résumées, recalculées, agrégées
- Récentes, mises à jour - Historiques
- Accessibles de façon individuelle - Accessibles de façon ensembliste
- Normalisées - Dénormalisées
Vue - Relationnelle - Multidimensionnelle
Requêtes/ - Simples, nombreuses, régulières, - Complexes, peu nombreuses,
Utilisation prévisibles, répétitives irrégulières, non prévisibles
- Sensibles aux performances (réponses - Non sensibles aux performances
immédiates) (réponses moins rapides)
- Accès à beaucoup de données - Accès à beaucoup d’informations
Utilisateurs - Agents opérationnels - Managers / Analystes
- Nombreux (par milliers) - Peu (par dizaines, centaines)
- Concurrents - Non concurrents
Accès - Lecture / Écriture - Lecture
Taille de la - 100 MB à 1 GB - 100 GB à 1 TB
base
Business Intelligence
10
Technologies
Stockage et Entrepôt de Données
Gestion Efficace (Data Warehouse)
des Gros Volumes
Traitements Serveur OLAP
Complexes sur ces
Volumes
Application Fouille de Données
Cliente (Data Mining)
Business Intelligence
Structure d’un Système Décisionnel 11
Business Intelligence
12
Structures de
Stockage de
Données dans un
Système
Décisionnel ENTREPÔTS DE DONNÉES – DATA
WAREHOUSE
Business Intelligence
Structures de Stockage de Données dans un Système Décisionnel
13
Data Mining
(Extraction de données)
Data Marts
(Magasins de données)
Synthèse
Data Warehouse
(Entrepôt de données)
Alimentation
Transformation
ODS
(Operational Data Store)
Extraction
Systèmes
Opérationnels
Business Intelligence
15
Définitions
ODS: Operational Data Store
Collection de données orientées sujet, volatiles, organisées pour le support d’un processus de décision ponctuel, en support
à une activité opérationnelle particulière
Donne la vision immédiate et intégrée de l’état d’un ou plusieurs systèmes opérants
Data Warehouse
Entrepôt de données spécifique au monde décisionnel, destiné principalement à analyser les leviers business potentiels
Collection de données orientées sujet, intégrées, non volatiles et historisées, organisées pour le support d’un processus
d’aide à la décision
Data Mart
Magasin de données orienté sujet, non volatile, mis à la disposition des utilisateurs dans un contexte décisionnel
décentralisé, ciblé pour un usage particulier
Data Mining
Ensemble d’outils, méthodes et technologies d’analyse mises en œuvre pour définir des tendances, pour segmenter
l’information ou pour établir des corrélations entre les données
Business Intelligence
16
Data Warehouse vs. ODS
Data Warehouse
Intégration des données hors ligne
ODS
Intégration des données en ligne
Sauvegarde des données récentes
Utilisé quand les données sont dispersées sur plusieurs supports de stockage, et on a besoin
de les rassembler
Exemple:
On veut avoir une vue unique sur un patient qu’on pourra modifier en ligne
Les données de ce patient sont disposées dans plusieurs bases de données (liste des
hospitalisations, liste des diagnostics, liste des achats pharmaceutiques…)
ODS peut être utilisé pour extraire ces données et les afficher
Business Intelligence
17
Data Warehouse vs. Data Mart
Data Warehouse
Dépôt de données au niveau entreprise
Combinaison de plusieurs Data Marts
Contient toutes les mesures et dimensions nécessaires
Assure l’intégrité de ces mêmes dimensions à travers tous les Data Marts
Data Mart
Ensemble de dimensions et mesures limitées
Utilisées pour des thèmes métier spécifiques
Construites à partir des données des entrepôts
Exemple
Dans une entreprise, il existe un seul entrepôt de données mais plusieurs magasins de données :
Finance, Vente…
Business Intelligence
18
Les Entrepôts de
Données
ENTREPÔTS DE DONNÉES – DATA
WAREHOUSE
Business Intelligence
19
Pourquoi ne pas utiliser un SGBD?
SGBD et DW
Ont des objectifs différents et font des traitement différents
Stockent des données différentes
Font l’objet de requêtes différentes
Besoin d’une organisation différente des données
Doivent être physiquement séparés
SGBD
Mode de travail transactionnel (OLTP)
Permettent d’insérer, modifier, interroger des informations rapidement, efficacement et en sécurité
Objectifs:
1. Sélectionner, ajouter, mettre à jour et supprimer des tuples
2. Opérations rapides, faites par plusieurs utilisateurs simultanément
Business Intelligence
20
Entrepôt de Données : Objectifs
Regrouper, organiser des informations provenant de sources diverses
Les intégrer et les stocker pour donner à l’utilisateur une vue orientée métier
Retrouver et analyser l’information selon plusieurs critères
Transformer un système d’information qui avait une vocation de production
en un SI décisionnel
Doit contenir des informations cohérentes
Les données doivent pouvoir être séparées et combinées au moyen de toutes
les mesures possibles de l’activité
Le DW ne contient pas uniquement des données, mais aussi un ensemble
d’outils de requêtes, d’analyse et de présentation de l’information.
Business Intelligence
21
Entrepôt de Données : Définition
(Bill Inmon)
Le Data Warehouse est une collection de
données orientées sujet, intégrées, non
volatiles et historisées, organisées pour la
prise de décision.
Business Intelligence
22
Caractéristiques d’un DW
Données Orientées Sujet
Le DW est orienté sujets, ce qui signifie que les données collectées
doivent être orientées métier, et donc triées par thème
Bases de données
Business Intelligence
Entrepôt de données
23
Caractéristiques d’un DW
Données Intégrées
Le DW est composé de données intégrées, c’est à dire qu’un
« nettoyage » préalable des données est nécessaire dans un souci de
rationalisation et de normalisation
Bases de données
Business Intelligence
Entrepôt de données
24
Caractéristiques d’un DW
Données Historisées et Non Volatiles
Les données du DW sont non volatiles, ce qui signifie qu’une donnée
entrée dans l’entrepôt l’est pour de bon et n’a pas vocation à être
supprimée
Les données du DW doivent être historisées, donc datées
Bases de données
Business Intelligence
Entrepôt de données
25
Data Warehouse : ETL
BD BD BD
Outils d’alimentation pour
Extraire
les données sources Extraction
Transformer
Charger dans un DW
Transformation
Chargement
DW
Business Intelligence
BD BD BD
Extraction 26
ETL : Extraction Transformation
Chargement
DW
Extraction des données de leur environnement d’origine (base de
données relationnelles, fichiers plats…)
Besoin d’outils spécifiques pour accéder aux bases de production
(requêtes sur des BD hétérogènes)
Besoin d’une technique appropriée pour n’extraire que les données
nécessaires
Données créées ou modifiées depuis la dernière opération d’extraction
Attention:
L’extraction ne doit pas perturber l’activité de production
Business Intelligence
BD BD BD
Extraction 27
ETL : Transformation Transformation
Chargement
DW
Intégration des données
Homogénéisation du vocabulaire, structures, valeurs
Suppression et fusion des redondances
Épuration des données (suppression des données incohérentes)
Transformation des données dans un format cible
Business Intelligence
BD BD BD
Extraction
28
ETL : Chargement Transformation
Chargement
DW
Opérations de calcul et d’agrégation des données
Remplacement de certaines bases si aucune solution d’extraction satisfaisante
n’est possible
Mise en place de procédures de chargement (nocturne?) et de restauration
(en cas de problème)
Envisager la mise en place de systèmes redondants si la disponibilité du système ne
peut être interrompue
Prise en compte de la notion de granularité
Conservation des données détaillées
Possibilité d’agrégation des données pour la synthèse
Business Intelligence
BD BD BD
Extraction 29
DW : Métabase de Données Transformation
Chargement
DW
Existence d’une métabase de données ou catalogue de métadonnées:
Contient des métadonnées du DW
Idéalement: Lieu de stockage unique des informations qui pilotent des processus
dans l’entrepôt
Détails sur :
Les données entreposées, leur format, leur signification, leur degré d’exactitude
Les processus de récupération/extraction dans les bases sources
La date du dernier chargement de l’entrepôt
L’historique des données sources et de celles de l’entrepôt
Business Intelligence
BD BD BD
Extraction 30
DW : Structure (1/3) Transformation
Chargement
DW
1. Directe simple :
On fait des mises à jour du
datawarehouse avec des laps
de temps importants.
Business Intelligence
BD BD BD
Extraction 31
DW : Structure (2/3) Transformation
Chargement
DW
2. Cumul simple :
On stocke les données de
chaque mise à jour, les
mises à jour étant
fréquentes (par exemple
tous les jours) on a un
espace occupé important,
mais on ne perd pas
d’information.
Business Intelligence
BD BD BD
Extraction 32
DW : Structure (3/3) Transformation
Chargement
DW
3. Résumé déroulant :
À chaque mise à jour, on stocke des
données détaillées, et on synthétise les
anciennes données en fonction de leur
âge. Plus une donnée est vieille, moins
elle est détaillée.
Business Intelligence
