Rapport Bi
Rapport Bi
Département : MGI
Business Intelligence
1
Table des matières
Introduction ................................................................................................................................ 4
Chapitre I : SSIS ......................................................................................................................... 4
1. Création un projet et un package de base avec SSIS ...................................................... 5
1.1 Création d’un projet integration services ..................................................................... 5
1.2 Ajout et configuration un gestionnaire de connexions de fichiers plats ...................... 6
1.3 Ajout et configuration d’un gestionnaire de connexions OLE DB .............................. 8
1.4 Ajout d’une tâche de flux de données au package ..................................................... 10
1.5 Ajout et configuration de la source du fichier plat ..................................................... 11
1.6 Ajout et configuration des transformations de recherche ........................................... 12
1.7 Ajout et configuration de la destination OLE DB ...................................................... 16
2. Ajout d’un bouclage avec SSIS .................................................................................... 19
2.1 Copie le package de la leçon 1 ................................................................................... 19
2.2 ajout et configuration du conteneur de boucles Foreach ............................................ 19
2.3 Modification du gestionnaire de connexions de fichiers plats ................................... 22
2.4 Test du package du tutoriel de la leçon 2 ................................................................... 23
3. Ajout d’une redirection de flux d’erreurs avec SSIS ................................................... 24
3.1 Copie du package de la leçon 3 .................................................................................. 24
3.2 Création d’un fichier endommagé .............................................................................. 25
3.3 Ajout d’une redirection de flux d’erreurs ................................................................... 26
3.4 Ajout d’une destination de fichier plat ....................................................................... 27
3.5 Test du package de la leçon 4 ..................................................................................... 29
4. Ajout des configurations de package SSIS pour le modèle de déploiement de package :
31
4.1 Copier le package de la leçon 4 : .......................................................................... 31
4.2 Activer et définir les configurations du package : ................................................ 31
Chapitre II: SQL Server Analysis Services .............................................................................. 37
1. Définition d’une vue de source de données dans un projet Analysis Services ............ 37
1.1 Création d’un Project Analysis Services .................................................................... 37
1.2 Définition d’une source de données : ......................................................................... 37
1.3 Définition d’une vue de source de données ............................................................... 39
1.4 Modification des noms de tables par défaut ............................................................... 41
2. Définition et déploiement d’un cube ............................................................................ 43
2
2.1 Définition d’une dimension ........................................................................................ 43
2.2 Définition d’un cube................................................................................................... 44
2.3 Ajout des attributs aux dimensions ............................................................................ 47
2.4 Vérification des propriétés de cube et de dimension.................................................. 49
2.5 Déploiement du Project Analysis Services ................................................................ 50
3. Modification des mesures, des attributs et des hiérarchies .......................................... 52
3.1 Modification des mesures........................................................................................... 52
3.2 Modification de la dimension Customer .................................................................... 55
3.3 Modification de la dimension Product ....................................................................... 65
3.4 Modification de la dimension Date ............................................................................ 70
Conclusion ................................................................................................................................ 71
3
Introduction
L’objectif principal de ce projet est de mettre en place une solution intégrée d’extraction, de
transformation et de chargement (ETL) des données, tout en assurant des analyses et des
rapports fiables et pertinents pour notre entreprise. Pour ce faire, nous avons choisi la
technologie Microsoft SQL Server.
SQL Server Integration Services (SSIS) joue un rôle clé dans l’automatisation du processus de
collecte des données depuis diverses sources. Il permet non seulement de transformer ces
données dans un format exploitable, mais aussi de les acheminer vers notre système central de
stockage, garantissant ainsi leur qualité et optimisant notre efficacité grâce à l’automatisation
des différentes étapes du processus.
En complément, SQL Server Analysis Services (SSAS) nous permettra de concevoir des
cubes de données multidimensionnels à partir des informations traitées par SSIS. Ces cubes
offriront une vue agrégée en temps réel et faciliteront l’analyse commerciale en répondant
rapidement aux besoins stratégiques de l’entreprise.
L’intégration de SSIS et SSAS au sein de notre infrastructure vise donc à optimiser la gestion
des données, à automatiser les flux d’information et à renforcer notre capacité d’analyse
décisionnelle.
Chapitre I : SSIS
SSIS, acronyme de SQL Server Intégration Services, représente une solution ETL
(Extract Transform Load) de premier plan. Cette plateforme offre une connectivité étendue
envers diverses sources de données telles qu'Excel, fichiers plats et bases de données variées.
En utilisant SSIS, il devient possible de récupérer des données, de les remodeler en informations
exploitables à l'aide d'outils d'analyse, générant ainsi une ou plusieurs bases de données
répondant aux besoins spécifiques de l'utilisateur.
4
1. Création un projet et un package de base avec SSIS
Durant cette étape, la création d'un paquetage ETL simple est prévue pour extraire des
données d'un fichier plat et les transformer en appliquant des règles de recherche internes aux
données brutes. Ensuite, ces résultats seront chargés dans une table de fait définie comme
destination.
Dans la première étape, nous avons initié la création d'un projet Integration Services
avec le nom « SSIS Tutorial »
5
Nous avons renommé par la suite le [Link] à [Link].
6
On a nommé le fichier « Sample Flat File Source Data » et Défini les paramètres
régionaux du fichier de données, configurés en Anglais (États-Unis) et la page de codes définie
sur 1252.
● La colonne 0 en AverageRate.
● La colonne 1 en CurrencyID.
● La colonne 2 en CurrencyDate.
● La colonne 3 en EndOfDayRate.
7
Ensuite, nous avons changé le type de données de la colonne CurrencyID et CurrencyDate
Figure 1-6 Modification du type de données de la colonne CurrencyID de chaîne [DT_STR] en chaîne Unicode [DT_WSTR]
Figure 1-7 Modification du type de données de la colonne CurrencyDate de date [DT_DATE] en date de base de données
8
définir le serveur, la méthode d'authentification, et la base de données par défaut pour la
connexion.
Par la suite, nous avons saisi le nom du serveur et choisi la base de données
« AdventureWorksDW2012 ». Nous avons réalisé un test de connexion pour confirmer la
validité des paramètres que nous avons définis.
9
1.4 Ajout d’une tâche de flux de données au package
Dans cette étape, nous ajoutons une tâche de flux de données à notre package. Cette
tâche de flux de données définit le moteur de flux, responsable du déplacement des données
entre les sources et les destinations.
10
Figure 1-12 Vérification de la propriété LocaleID est définie sur Anglais (États-Unis)
Nous avons intégré une source de fichier plat nommée "Extract Sample Currency
Data" dans l'espace de travail dédié au flux de données.
11
Après l’ajout du composant source de fichier plat, nous avons sélectionné le Sample
Flat File Source Data dans le champ Gestionnaire de connexions des fichiers plats.
La Sélection des colonnes exige une vérification des noms de ces colonnes.
12
impliquent une opération de recherche, consistant à relier les données de la colonne d'entrée
spécifiée à une colonne dans un jeu de données de référence.
Nous avons ajouté la transformation de Recherche sous le nom “Lookup Currency Key”
et la connecter avec la source de fichier plat Extract Sample Currency Data.
13
Lors de la configuration de la connexion, nous nous sommes assurés d'utiliser la base
de données appropriée pour le gestionnaire de connexions OLE DB.
Sur la page des colonnes, nous avons fait glisser CurrencyID vers le volet des colonnes
de recherche disponibles et l'avons déposé sur CurrencyAlternateKey. Ensuite, nous avons
activé la case à cocher située à gauche de CurrencyKey.
14
● Ajout et configuration de la transformation Lookup Date Key
Nous avons ajouté la transformation de Recherche sous le nom “Lookup Date Key” et
la connecter avec la transformation de recherche “Lookup Currency Key”.
Pour configurer la connexion, nous avons défini notre base de données et intégré la
table [Link].
15
Figure 1-22 Configuration de la page connexion
16
implique le chargement des données transformées dans la destination. À cet effet, nous
intégrons une destination OLE DB dans le flux de données. Cette destination OLE DB a la
capacité d'utiliser une table de base de données, une vue ou une commande SQL pour charger
les données dans différentes bases de données compatibles avec OLE DB.
Tout d'abord, nous avons ajouté la Destination OLE DB dans la zone de conception du
flux de données. Ensuite, nous avons connecté la transformation “Lookup Date Key” à la
Destination OLE DB avec une sortie de recherche avec correspondance. Nous l'avons ensuite
renommée "Sample OLE DB Destination".
17
Nous avons supprimé la table “NewFactCurrencyRate”, puis nous avons la recréer.
18
Figure 1-28 Vérification des Propriétés
Integration Services propose deux types de conteneurs pour exécuter des boucles dans
des packages :
Dans les prochaines étapes, nous ajustons l'exemple du package ETL de la leçon 1 en
intégrant un conteneur de boucles Foreach. Nous créons une variable propre au package, conçue
par l'utilisateur, que nous exploitons ensuite pour itérer à travers les fichiers correspondants
dans l’exemple de dossier.
19
Figure 2-1 Changement du nom du conteneur de boucles Foreach
20
Figure 2-3 Parcours de dossier qui contient les fichiers Currency_*.txt
Dans la page Mappages de variables, dans la colonne Variable, nous avons ajouté une
nouvelle variable avec le nom varFileName.
Nous avons glissé la tâche de flux de données « Extract Sample Currency Data » vers
le conteneur de boucles « Foreach Foreach File in Folder ».
21
Figure 2-5 Ajout de la tâche de flux de données à la boucle
22
Figure 2-7 La boîte de dialogue Générateur d’expressions
23
Nous avons exécuté le package de leçon 2 et nous avons remarqué que 1097 lignes ont
été ajoutées à la table de destination.
24
3.2 Création d’un fichier endommagé
Pour ce faire, nous avons ouvert le fichier Currency_VEB.txt, et nous avons remplacé
toutes les instances de VEB et par BAD, puis, nous avons enregistré le fichier modifié en tant
que Currency_BAD.txt.
En Parcourant le journal, nous avons vérifié que les erreurs sont générées sur l’onglet
Résultats d’exécution.
25
Figure 3-4 Résultats d’exécution
sortie d'erreur, nous avons configuré une sortie d'erreur avec un composant script intitulé Get
Error Description. Le script de ce composant a été modifié à l'aide d'un code C# pour obtenir la
description de l'erreur.
26
Figure 3-6 Configuration du script sur la méthode Input0_ProcessInputRow
27
Figure 3-7 Ajouter une destination de fichier plat Résultats d’exécution
28
Figure 3-10 Nom du gestionnaire de connexions :Données d’erreur
29
Figure 3-12 Exécution du package
Pour vérifier l’implantation des erreurs sur le fichier, nous l’avons inspecté et nous
remarquons que le fichier contient des erreurs avec CurrencyID non associé "BAD", ErrorCode
-1071607778, ErrorColumn 0 et une description d’erreur indiquant "Aucune correspondance
de ligne trouvée". La colonne d’erreur est 0 car l’erreur n’est pas liée à une colonne spécifique,
mais à l’échec de la recherche
30
4. Ajout des configurations de package SSIS pour le modèle de
déploiement de package :
Les configurations de package offrent la possibilité de spécifier, en dehors du cadre du
développement, des attributs et des variables qui seront appliqués lors de l'exécution. Elles
facilitent le développement de packages flexibles, simples à déployer et à distribuer dans
Microsoft Integration Services. Les types de configurations pris en charge incluent :
31
pouvons mettre à jour au moment de l’exécution. Nous remplissons également un dossier "New
Sample Data" à utiliser pour les tests.
32
Figure 4-4: Conversion en modèle de déploiement de package.
33
Figure 4-7: Sélection du emplacement du fichier de configuration.
Figure 4-8: Changement du nom de configuration, par exemple Configuration du répertoire du tutoriel SSIS.
34
Après avoir effectué cette modification de configuration et exécuté le package, la
propriété Directory est mise à jour en utilisant la variable du fichier de configuration.
Auparavant, la valeur de la propriété Directory était intégrée au sein du package.
35
Nous avons exécuté le package et nous avons remarqué que le débogage est
effectué avec succès.
36
Chapitre II: SQL Server Analysis Services
SQL Server Analysis Services (SSAS) est un composant clé de la suite Business Intelligence
de Microsoft. Il permet la conception, le déploiement et la gestion de solutions d'analyse de
données multidimensionnelles, facilitant ainsi une prise de décision stratégique plus éclairée.
Ses fonctionnalités incluent la création de cubes de données, la modélisation et l'agrégation
des données, l'analyse en ligne rapide (OLAP) ainsi que le développement de tableaux de
bord interactifs. SSAS constitue donc une infrastructure solide pour les entreprises souhaitant
optimiser l’exploitation de leurs données afin d’améliorer leur compétitivité et leur efficacité
opérationnelle.
37
Figure 1-2 Assistant vue de source de données
Une fois que nous avons établi une source de données en créant une nouvelle connexion
dans la section "Sélectionner la méthode de définition de la connexion", nous procédons à la
configuration des propriétés de connexion de cette source de données dans le gestionnaire de
connexions, comme illustré dans la figure 3.
38
Figure 1-4:Test de connexion réussi.
39
Figure 1-6: Assistant de vue de source de données.
Par la suite, nous avons procédé à la sélection de tables et de vues à partir de la liste
des objets disponibles de la source de données choisie.
Après avoir défini une table de données, nous pouvons visualiser la vue de
source de données.
40
Figure 1-8: Vue de source de données.
41
Figure 1-10: Modification de la propriété Friendly Name de Product.
42
Figure 1-12: Modification de la propriété Friendly Name de DATE.
43
Figure 2-1 Spécification des attributs de la dimension.
Dans cette section, nous allons recourir à l'Assistant Cube pour générer un cube,
débutant par la sélection des tables de groupes de mesures, comme illustré dans la figure 15.
44
Figure 2-3: Sélection des tables de groupes de mesures.
45
Figure 2-5: Sélection de nouvelles dimensions.
De cette manière, le cube de tutoriel SQL Server Analysis Services est désormais visible
dans l'explorateur de solutions, situé dans le dossier "Cubes", tandis que les dimensions de base
de données "Client" et "Produit" sont affichées dans le dossier "Dimensions".
46
Figure 2-7: Aperçu sur l’explorateur de solutions.
47
Figure 2-9: Ajout d’attributs a la dimension Customer.
48
Figure 2-11: Ajout d’attributs à la dimension Product.
49
Figure 2-13: Paramètres de stockage et paramètres d’écriture différée sous l’onglet.
La figure suivante présente le code XML du cube du didacticiel SQL Server Analysis
Services. Il s'agit du code effectif employé pour générer le cube lors du déploiement dans une
instance de SQL Server Analysis Services.
50
Figure 2-15: Le navigateur avant le déploiement.
Dans l'Explorateur de solutions, nous avons effectué un clic droit sur le projet
"Didacticiel Analysis Services", puis sélectionné l'option "Propriétés". Dans le volet gauche,
sous le nœud "Propriétés de configuration", nous avons choisi l'onglet "Déploiement".
Nous avons examiné les propriétés de déploiement du projet. Par défaut, le modèle de
projet Analysis Services configure un projet pour un déploiement incrémentiel sur l'instance
par défaut d'Analysis Services sur l'ordinateur local. Cela implique la création d'une base de
données Analysis Services portant le même nom que le projet, suivie du traitement des objets
après le déploiement en utilisant les options de traitement par défaut.
51
Figure 2-17: Déploiement Terminé.
Puis, nous avons affiché la fenêtre des propriétés. Ou nous avons ajouté,
sur FormatString.
52
Figure 3-2: Fenêtre des propriétés.
Dans la fenêtre des propriétés, nous avons choisi l'option "Currency" dans la liste
déroulante FormatString.
53
Figure 3-4: Fenêtre des propriétés.
54
Figure 3-6: Fenêtre des propriétés Tax Amt.
55
3.2.1 Création de la hiérarchie
Dans le volet "Hiérarchies" de l'onglet "Structure de dimension", faisons un clic droit
sur la barre de titre de la hiérarchie, choisissons l'option "Renommer" et saisissons "Customer
Geography". Le nom de la hiérarchie est désormais "Zone géographique du client".
De plus, nous avons intégré un calcul nommé, ce qui correspond à une expression SQL
exprimée sous la forme d'une colonne calculée, au sein de la table d'une vue de
source de données.
source de données.
56
Figure 3-10: Ajout du Calcul 'FullName' à la Table Customer.
Après avoir créé un calcul nommé dans la vue de la source de données, nous avons
utilisé le calcul nommé pour les noms des membres.
57
Figure 3-12: Fenêtre Propriétés FullName.
58
Nous avons employé les dossiers d'affichage pour regrouper les hiérarchies d'utilisateurs
et d'attributs au sein d'arborescences. Nous avons commencé par les attributs relatifs à la
localisation du client.
Enfin, nous avons regroupé les attributs sur le contact du client en un dossier.
59
Figure 3-16: Fenêtre Propriétés : Contacts.
Nous avons créé une clé composite pour les attributs "City" et "StateProvince".
60
Figure 3-18: StateProvinceName.
61
Figure 3-20: Nom de la colonne : [Link].
62
Figure 3-22: Attribut Source : Etat-Province en Relation.
63
3.2.6 Déploiement des modifications, traitement des objets et affichage des modifications
64
3.3 Modification de la dimension Product
Dans la boîte de dialogue Créer un calcul nommé, tapez ProductLineName dans la zone
Nom de la colonne.
65
3.3.1 Modification de la propriété NameColumn d'un attribut
66
Figure 3-31: Création de la hiérarchie.
67
Figure 3-33 : AttributeHierarchyDisplayFolder : Financial.
68
Figure 3-35: Tous les produits.
69
Figure 3-37: Déploiement terminé.
70
Conclusion
Par ailleurs, SQL Server Analysis Services (SSAS) s’est révélé être un outil
incontournable pour la modélisation et l’analyse des données en temps réel. En facilitant la
création de cubes OLAP (Online Analytical Processing), SSAS a offert une vision
multidimensionnelle des informations, permettant d’explorer les données sous différents angles
et de répondre rapidement aux exigences analytiques. La structuration des données sous forme
de cubes a ainsi favorisé une prise de décision plus rapide et éclairée, essentielle dans un
contexte décisionnel.
En définitive, ce projet a illustré la valeur ajoutée de Microsoft SQL Server dans la mise
en place de solutions complètes et performantes en Business Intelligence. L’intégration fluide
des composants SSIS et SSAS a démontré leur complémentarité et leur capacité à transformer
des volumes de données complexes en informations exploitables. Cette approche confirme que
Microsoft SQL Server constitue un socle technologique puissant pour répondre aux défis
analytiques des entreprises, en leur offrant des solutions flexibles, performantes et adaptées aux
besoins décisionnels modernes.
71