Data Warehouse
TOPICOS ESPECIALES DE INGENIERIA
28/09/15
Definiciones de Data
Warehouse
Un Data Warehouse es un conjunto integrado de bases de
datos, con orientacin temtica, que estn diseados
para el apoyo a la Toma de Decisiones, y donde cada
unidad de datos es relevante en algn momento del
tiempo
Bill H. Inmon
"una copia de las transacciones de datos especficamente
estructurada para la consulta y el anlisis o"la unin de
todos los Data marts de una entidad
Ralph Kimball
Yo considero al DW como algo que provee dos beneficios
empresariales reales: Integracin y Acceso de datos. DW
elimina una gran cantidad de datos intiles y no
deseados, como tambin el procesamiento desde el
ambiente operacional clsico
Susan Osterfeldt
2
Objetivos
Hacer la informacin de la organizacin accesible
Hacer a la informacin de la organizacin consistente
Controlar el acceso efectivo a los datos
Generar informacin de manera flexible
Servir de ayuda a la toma de decisiones
En resumen
Un Data Warehouse tiene como objetivo almacenar y
proveer a la Organizacin de informacin relevante y a
tiempo
Importancia del Data
Warehouse
Mejorar la Entrega de Informacin:.
Mejorar el Proceso de Toma de Decisiones
Impacto Positivo sobre los Procesos Empresariales
A pensar antes de implementar
un Data Warehouse
La amplitud; el nmero de diferentes temas y puntos de foco
Fuentes que proveern datos brutos.
Los medios por los cuales los datos se transportan de las
aplicaciones fuente y son cargados al Data Warehouse.
Las reglas de negocio que se aplican a la data en bruto para
producir activos de datos de alta calidad.
Las bases de datos receptoras, en la que estos activos de datos
sern almacenados.
Los activos de datos; los elementos, el nivel de detalle de cada
elemento, y cunta historia se ha mantenido, por ejemplo.
La Inteligencia de negocio
Herramientas de nivel usuario para acceder a los activos de datos.
La arquitectura y complejidad en general del entorno.
6
Empresas que usan DATA
WAREHOUSE
Royal bank of canada
Paypal
3M
Coca-Cola Company
Verizon
Ford Motor Company
Herramientas de nivel usuario para acceder a los activos de datos.
La arquitectura y complejidad en general del entorno.
Productos (suites) de DATA
WAREHOUSE y BI
IBM Cognos
http://www-01.ibm.com/software/data/cognos/
Teradata
http://www.teradata.com
Oracle Hyperion
http://www.oracle.com/hyperion/index.html
MicroStrategy
http://www.strategy.com
SAS
http://www.sas.com
9
Caractersticas de un Data
Warehouse
Orientado a un tema
Administra grandes cantidades de informacin
Guarda informacin en diversos medios de
almacenamiento
Comprende mltiples versiones de uno (o varios)
esquema de base de datos
Condensa y agrega informacin
Integra y asocia informacin de muchas fuentes
10
Diferencias entre un sistema de
Data Warehouse y aplicaciones
SISTEMAS TRADICIONALES
DATAWAREHOUSE
tradicionales
Predomina la actualizacin.
Actividad operativa (da a da).
Proceso puntual.
Estabilidad.
Datos desagregados.
Dato actual.
Respuesta de la transaccin
inmediata.
Estructura relacional.
Usuarios de perfiles bajos.
Explotacin de la informacin
relacionada con operatividad de
cada aplicacin
Predomina la consulta
Anlisis y decisin estratgica.
Proceso masivo.
Dinamismo.
Niveles de detalle/agregacin.
Dato histrico.
Respuesta masiva
Estructura Multidimensional
Usuarios de perfiles altos.
Explotacin de informacin
interna y externa relacionada con
el negocio.
11
Metodologas de Diseo de
Data Warehouse
Metodologa de Inmon (Top Bottom)
12
Metodologa de Kimball
(Bottom-up)
13
Metodologa agil para la
implementacin de un dw
14
Arquitectura de un Data
Warehouse
15
Page 15
Flujo de Datos de un DW
Production
systems
CRM
Querying &
Reporting
tools
OLAP
cubes
DataWarehouse
Billing
Activation
systems
Other sources
ETL
Datamarts
Other
DBs
Files
Acquisition
Storage /
Archiving
16
Restitution
Business
Users
Arquitectura de un Data
Warehouse
Base de datos operacional / Nivel de base de datos
externo.
Nivel de acceso a los datos
Nivel de organizacin de datos
Nivel de data warehouse
Nivel de acceso a la informacin
Nivel de gestin de proceso
17
Page 17
Elementos de la Arq. De un DW
Base de datos operacional / Nivel de base de datos
externo (Fuentes de datos)
Los sistemas operacionales procesan datos para apoyar
las necesidades operacionales crticas, tales como
ERPs, SCMs, tambin se procesa informacin de fuentes
de datos externas, tales como de la internet, INEI, BCRP.
Nivel de acceso a los datos
Es responsable de la interfaces entre las herramientas
de acceso a la informacin y las bases de datos
operacionales. En algunos casos, esto es todo lo que un
usuario final necesita para realizar estas interfases se
utiliza el SQL (Standar Query Lenguaje)
18
Page 18
Elementos de la Arq. De un DW
Nivel de organizacin de datos
El componente final de la arquitectura data Warehouse
es la organizacin de los datos, incluye todos los
procesos necesarios como seleccionar, editar, resumir,
combinar y cargar datos en el depsito y acceder a la
informacin desde bases de datos operacionales y/o
externas
Nivel de data warehouse
En un data Warehouse fsico, el almacenaje de data
procesada, incluso en forma redundante
19
Elementos de la Arq. De un DW
Nivel de acceso a la informacin
Este nivel se incluye el hardware y software
involucrados en representar y proveer de informacin al
usuario final normalmente usa da a da. Por ejemplo:
Excel, Lotus 1-2-3, Focus, Access, SAS, etc.
Nivel de gestin de proceso
El nivel de gestin de procesos tiene que ver con la
programacin de diversas tareas que deben realizarse
para construir y mantener actualizado el data warehouse
y la informacin del directorio de datos.
20
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
Fase 1: Organizacin
1 FACTORES EN LA PLANIFICACION DE UN DATA WAREHOUSE
Establecer una asociacin de usuarios, gestin y grupos
Construir prototipos rpida y frecuentemente
Implementacin incremental
Reportar activamente y publicar los casos exitosos
21
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
2 ESTRATEGIAS PARA EL DESARROLLO DE UN DATA WAREHOUSE
Quin es el auditorio?
Cul es el alcance?
Qu tipo de data warehouse
debera construirse?
1ra.: Establecer un ambiente "data warehouse virtual.
2da.: Construir una copia de los datos operacionales desde un sistema
operacional nico y posibilitar al data warehouse de una serie de
herramientas de acceso a la informacin.
3ra.: Finalmente, la estrategia data warehousing ptima es seleccionar el
nmero de usuarios basados en el valor de la empresa y hacer un anlisis de
sus puntos, preguntas y necesidades de acceso a datos. 22
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
3 ESTRATEGIAS PARA EL DISEO DE UN DATA WAREHOUSE
1ra. : Los usuarios de los data warehouses
usualmente no conocen mucho sobre sus
requerimientos y necesidades como los
usuarios operacionales.
2da.: El diseo de un data warehouse, con
frecuencia involucra lo que se piensa en
trminos ms amplios y con conceptos del
negocio ms difciles de definir que en el
diseo de un sistema operacional. Al respecto,
un data warehouse est bastante cerca a
Reingeniera de los Procesos del Negocio
(Business Process Reengineering).
3ra.: Finalmente, la estrategia de diseo ideal
para un data warehousing es generalmente de
afuera hacia adentro (outside-in) a diferencia
de arriba hacia abajo (top-down).
23
PROYECTO DE ELABORACION DE
UN DATA WAREHOUSE
4 ESTRATEGIAS PARA LA GESTION DE UN DATA WAREHOUSE
1ra.: Un data warehouse es una inversin buena slo si los
usuarios finales realmente pueden conseguir informacin vital
ms rpida y ms barata de lo que obtienen con la tecnologa
actual.
2da.: La administracin debe reconocer que el mantenimiento
de la estructura del data warehouse es tan crtico como el
mantenimiento de cualquier otra aplicacin de misin-crtica.
3ra.: La gestin debe comprender tambin que si se embarcan
sobre un programa data warehousing, se crearn nuevas
demandas sobre sus sistemas operacionales, que son:
Demandas para mejorar datos
Demandas para una data consistente
Demandas para diferentes tipos de datos, etc.
24
PROYECTO DE ELABORACION DE
UN DATA WAREHOUSE
Fase 2: Desarrollo
1. PORQUE CONSTRUIR BLOQUES DE DATA WAREHOUSE?
Se
ha reconocido los beneficios del
procesamiento analtico en lnea (On Line
Analytical Processing - OLAP), ms all de
las reas tradicionales de marketing y
finanzas.
El
crecimiento
de
la
computacin
cliente/servidor, ha creado servidores de
hardware y software ms poderosos y
sofisticados que nunca. Los servidores de
hoy compiten con las mainframes de ayer y
ofrecen
arquitecturas
de
memoria
tecnolgicamente superiores, procesadores
de alta velocidad y capacidades de
almacenamiento
masivas.
25
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
2 CONSIDERACIONES PREVIAS AL DESARROLLO DE UN DATA WAREHOUSE
Hay muchas maneras para
desarrollar data warehouses
como tantas organizaciones
existen. Sin embargo, hay un
nmero de dimensiones
diferentes que necesitan ser
consideradas:
Alcance de un data
warehouse
Redundancia de datos
Tipo de usuario final
26
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
3 ELEMENTOS CLAVES PARA EL DESARROLLO DE UN DATA WAREHOUSE
Si se escoge incorrectamente, el data warehouse se convierte en una
gran empresa con problemas difciles de trabajar en su entorno, costoso
para arreglar y difcil de justificar.
Para conseguir que la implementacin del depsito tenga un inicio
exitoso, se necesita enfocar hacia tres bloques claves de construccin:
Arquitectura total del depsito
Arquitecturas del servidor
Sistemas de Gestin de Base de Dato
Hay muchas maneras para desarrollar data warehouses como tantas
organizaciones existen. Sin embargo, hay un nmero de dimensiones
diferentes que necesitan ser consideradas:
Alcance de un data warehouse
Redundancia de datos
Tipo de usuario final
27
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
4 CONFIABILIDAD DE LOS DATOS
La data "sucia" es peligrosa. Las herramientas de
limpieza especializadas y las formas de programar
de los clientes proporcionan redes de seguridad.
No importa cmo est diseado un programa o
cun hbilmente se use. Si se alimenta mala
informacin, se obtendr resultados incorrectos o
falsos.
Desafortunadamente, los datos que se usan
satisfactoriamente en las aplicaciones de lnea
comercial operacionales pueden ser basura en lo
que concierne a la aplicacin data warehousing
28
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
5 FACTORES DECISIVOS PARA DECIDIR EL DESARROLLO DE UN DATA WAREHOUSE
La data sucia es un serio peligro para el xito de un
proyecto de data warehouse. Dependiendo del
alcance del problema, simplemente podra no ser
posible
dirigirlo
rpidamente
y
abaratarlo.
Los principales factores son:
El tiempo que toma la programacin interna
- El costo de las herramientas
-
Los gerentes de proyectos de Data Warehouse
necesitan evaluar el problema con realismo, los
recursos internos disponibles para distribuirlos y
seleccionar la solucin que se adapte a la planilla y
presupuesto del proyecto, o modificar la planilla y el
presupuesto
para
solucionar
el
problema.
29
PROYECTO DE ELABORACION DE
UN DATA WAREHOUSE
FASE 3: IMPLEMENTACION
1 ELEMENTOS A CONSIDERAR EN LA IMPLEMENTACION
Proyecto Total o Proyecto en Fases
Es ms viable el desarrollo de un proyecto en fases que produzcan resultados a
corto plazo que el desarrollo de un proyecto que entregue resultados al trmino de
varios aos. Por ello, el proyecto debe estar centrado en un rea o un proceso.
Modelo lgico de datos
El modelo lgico de datos debe tener un alcance ms alto y cubrir todas las reas de
inters, as como los procesos ms estratgicos de cada una de ellas.
Proyecto Especializado o Proyecto Base
Decidir sobre qu tipo de proyecto, es algo complicado. Un proyecto especializado
soporta directamente un proceso especfico, por ejemplo: retencin de clientes.
Un proyecto base entrega capacidad genrica de anlisis a todos los usuarios que
tengan acceso al data warehouse, pero no tiene, entre sus funcionalidades, la
solucin de un problema especfico o el soporte especializado de un proceso
especfico.
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
2 ESTRATEGIAS PARA EL PROCESO DE IMPLEMENTACION
Identificar el problema en el cual el uso
estratgico de la informacin detallada,
permita conseguir una solucin para
generar una ventaja competitiva o un
ahorro
de
costos.
Definir el modelo lgico de datos a
implementar para resolver el problema
planteado.
31
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
3 ESTRATEGIAS EN LA IMPLEMENTACION
Definir el mejor diseo fsico para el modelo de datos. El diseo fsico debe estar
orientado a generar buen rendimiento en el procesamiento de consultas, a diferencia del
modelo lgico que est orientado al usuario y a la facilidad de consulta.
Definir los procesos de extraccin, filtro, transformacin de informacin y carga de datos
que se deben implementar para poblar ese modelo de datos.
Definir los procesos de administracin de la informacin que permanece en el data
warehouse
Definir las formas de consultas a la informacin del data warehouse que se le
proporcionar al usuario. Para sto, debe considerarse la necesidad de resolver un
problema y la potencia de consulta.
Completar el modelo de consulta base, relativo al rea seleccionada.
Implementar los procesos estratgicos del rea de trabajo, es decir, implementar
herramientas especializadas de scoring, herramientas especializadas para induccin de
conocimiento (Data Mining), etc.
Completar las reas de inters, en forma similar a lo descrito anteriormente.
32
PROYECTO DE ELABORACION DE
UN DATA WAREHOUSE
FASE 4: EVALUACION
1 EVALUACION DE RENDIMIENTO DE LA INVERSION
Qu clases de costos excedieron el
presupuesto en ms del 10% en cada uno de
los 12 meses pasados?
Se aumentaron los presupuestos en ms de
5% para cualquier rea dentro de los ltimos
18 meses?
Cmo especificar las clases de gasto entre
diferentes departamentos? Entre divisiones?
A travs de las regiones geogrficas?
Cmo tener mrgenes de operacin sobre
los dos ltimos aos en cada rea de
negocio? Donde han disminuido los
mrgenes, se han incrementado los costos?
33
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
CASO PRACTICO
En un estudio encargado por 20 vendedores y consultores, se encontr un
Retorno Promedio Total de la inversin (Return On Investment-ROI) de
401%.Tambin, se excluyeron los proyectos fracasados, as como los
ejecutados excepcionalmente, tanto buenos como malos.
CAMBIOS DE VALOR
ROI promedio total
401%
ROI promedio del proyecto ms grande
322%
ROI promedio del modelo complementario de datos
533%
ROI mediano
160%
Perodo de reembolso promedio
Costo promedio
2.3 Aos
2.2 Millones
34
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
1.1 COSTOS Y BENEFICIOS
Costos preliminares
Planificacin
Diseo
Modelamiento /Ingeniera de
Informacin
Costos iniciales
Plataforma de hardware
Software de base de datos
Costos en procesamiento
Mantenimiento de datos
Desarrollo de aplicaciones
Capacitacin y soporte
Beneficios Tcticos
Impresin y emisin de reporte
reducido
Demanda reducida para consultas de
clientes
-
Entrega ms rpida de informacin a los
usuarios
Beneficios Estratgicos (Potencialidad)
Aplicaciones y herramientas de
acceso para los usuarios finales
Decisiones con mayor informacin
Toma de decisiones ms rpida
Capacidad de soporte a la
informacin organizacional
35
PROYECTO DE ELABORACION DE UN DATA
WAREHOUSE
2 BENEFICIOS A OBTENER
Para la Empresa
El data warehouse hace lo posible por aprovechar el valor
potencial enorme de los recursos de informacin de la
empresa y volver ese valor potencial en valor verdadero.
Para los Usuarios
El data warehouse extiende el alcance de la informacin
para que puedan accesar directamente en lnea, lo que a la
vez contribuye en su capacidad para operar con mayor
efectividad las tareas rutinarias o no.
Para la Organizacin en Tecnologas de Informacin
El data warehouse enriquece las capacidades del usuario
autosuficiente y hace lo factible para ofrecer nuevos
servicios a los usuarios, sin interferir con las aplicaciones
cotidianas de produccin
36
Importante: El Modelo de Datos
Es el modelo por el cual se disea el esquema de funcionamiento de la
Base de Datos que provee al Data Warehouse.
Existen varios enfoques en este sentido:
Fbrica de informacin corporativa (CIF): incluyen ODS, data warehouse y data
marts, junto con otras varias interfaces de aplicaciones y el ambiente operacional,
fue desarrollada por Bill Inmon, Claudia Imhoff, y Ryan Sousa
Esquema en estrella: Este mtodo replica las estructuras multidimensionales de
hechos y dimensiones, pero usa tablas de RDBMS, especficamente tablas de
hechos y tablas de dimensiones. Se dejan de lado las reglas de normalizacin de
base de datos y se ponen los datos donde tienen ms sentido
Data vault (Arquitectura de modelado fundacional comn -CFIMA):
Esta es una arquitectura de integracin de datos que contiene una base de datos
orientada al detalle que contiene un conjunto de tablas normalizadas nicamente
enlazadas que soportan una o ms reas funcionales de las tablas de negocio con
tablas satlites para rastrear cambios histricos. Este enfoque hbrido
rene lo
37
mejor del cruce entre la tercera forma normal (3NF)
DATA WAREHOUSE VS BD
OPERACIONAL
Uso de Base de Datos
Operacionales
Uso de
Data Warehouse
Muchos usuarios concurrentes
Pocos usuarios concurrentes
Consultas predefinidas y
actualizables
Consultas complejas,
frecuentemente
no anticipadas.
Cantidades pequeas de datos
resumidas.
Cantidades grandes de datos
resumidas.
Requerimientos de respuesta
inmediata
Requerimientos de respuesta no
crticos
38
Page 38
Modelo de Estrella
39
Extraccin, Transformacin y Carga
Extraccin
Multiples Fuentes
Orientadas a trabajo Batch : cagas de estos sistemas son ms fuertes cuando los sistemas de
produccin tienen poca carga
Conectvidad a diferentes tecnologas, diferentes manejadores de BDs
Transformacin
Manipulacin de data compleja
Reunin de diferentes fuentes
Implementacin de reglas de negocio
Limpiado, ordenado, eliminacin de duplicidades
Optimizado para el desempeo y para grandes volmenes
Carga
Cargar la data en tablas de hechos y dimensiones
Produce un historial en archivos o en la BD para trazabilidad
Otros
Controla los flujos de ejecucin: maneja las dependencias entre tareas, control de
ejecucin, gestin de errores, registros histricos.
40
Ejemplos de transformacin
Transformacin de Bsqueda difusa
Busca valores en las tablas usando criterios difusos
Ejemplo: Para un campo de texto la data puede contener muchas variantes de la misma palabra
(friend, a friend, freind, etc). La lgica difusa puede ayudar a reunir las variantes.
Transformacin de dimensiones de cambio lento
Ayuda a manejar la actualizacin de una dimensin de cambio lento
Ejemplo : la informacin sobre los consumidores cambia constantemente, pero queremos una historia de
estos
Cambio de direccin no queremos el valor anteiror (reemplazo)
Un cambio en el valor VAT duplicamos la entrada del consumidor agregando los datos adicionales (para propsitos
financieros)
Clave sustituta
41
Control de la Ejecucin
Los datos son muy sensibles, la calidad de los reportes
depende la calidad de estos
Cargar un Data Warehouse puede implicar reglas
complejas de extraccin, transformacin y carga
Los usuarios del negocio no confiarn en un DW si no
confan en su carga
42
Ejemplos de paquetes en ETL
Flujo de control y flujo de datos
43
Middleware
Son Instancias intermedias a la carga y al acceso que sirven
para verificar la calidad y fiabilidad de la data
Estacin de transformacin interina: un rea en la cual grupos
de datos extrados de alguna de las fuentes pasan por un
proceso de transformacin antes de moverse hacia la base de
datos del almacn.
Estacin de aseguramiento de la calidad: Un rea en la cual
grupos de datos pasan por un conjunto de intensas revisiones
de aseguramiento de la calidad antes de pasar hacia el
almacn de datos.
44
Middleware (2)
45
Problema: al crecer el DW. El rendimiento de las consultas decae y el modelo
centralizado deja de ser optimo.
Solucin: crear almacenes de datos especializados por rea, que
reciben los datos desde el almacn centralizado, estos almacenes se
conocen como Data Marts.
46
Toma de decisiones
DATAMART
Un Datamart es una base de
datos departamental,
especializada en el
almacenamiento de los datos
de un rea de negocio
especfica.
Se caracteriza por disponer la
estructura ptima de datos para
analizar la informacin al
detalle desde todas las
perspectivas que afecten a los
procesos de dicho
departamento.
47
Data Mart
Puede
ser alimentado desde los datos de un
DWH, o integrar por si mismo un compendio de
distintas fuentes de informacin.
48
Data Warehouses Vs. Data Marts
Data
Warehouse
Data Mart
Propiedad
Data Warehouse
Data Mart
Alcance
Empresarial
Departamental
Tema
Fuente de datos
Mltiples
Muchas
Un solo tema
Pocos
<
Tamao (tpico)
100 GB to > 1 TB
100 GB
Tiempo de implementacin
Meses a aos
Meses
49
Soporte anlisis multidimensional y
procesamiento analtico en lnea(OLAP)
Su objetivo es agilizar la consulta de grandes cantidades de
datos. Caracteriza la Arquitectura necesaria para la
implementacin de un sistema de ayuda en la toma de
decisiones. La consultas son pocas pero son muy
consumidoras de tiempo (pueden correr horas), las
actualizaciones son menos frecuentes y/o la respuesta a la
consulta no depende del hecho de tener actualizada la base
de datos.
50
CARACTERISTICAS
Soporte anlisis multidimensional y
procesamiento analtico en lnea(OLAP)
Los datos son clasificados en diferentes
dimensiones y pueden ser vistas unas con otras en
diferentes combinaciones para obtener diferentes
anlisis de los datos que contienen.
Los Usuarios pueden formular consultas complejas,
arreglar datos en un reporte, cambiar de datos
resumidos a datos detallados.
51
Clasificacin segn el tipo de motor en el
que estn almacenados los datos:
ROLAP (Relational OLAP)
MOLAP (multidimensional
OLAP)
Almacena los datos en un motor
relacional
Almacena los datos en una base de
datos multidimensional
Muchas dimensiones
Diez o menos dimensiones
Soportan analisis OLAP contra
grandes volumenens de datos
Se comportan razonablemente en
volumenes de datos mas reducidos
(menos de 5Gb)
Herramienta flexible y general
Solucin particular con volmenes
de informacin y numero de
dimensiones mas modestos
52
