Data Warehouse
INTELIGENCIA DE NEGOCIOS
Ing. Santiago Bustamante Muoz, MBA
Qu es un Data Warehouse?
DW es una tecnologa construida para optimizar el uso
y anlisis de informacin utilizado por las
organizaciones para adaptarse a los cambios en los
mercados.
Su funcin esencial es ser la base de un sistema de
informacin gerencial. Debe cumplir el rol de
integrador de informacin proveniente de fuentes
funcionalmente distintas.
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Propiedades
Separacin: Los procesos de anlisis y transacciones
deberan ser guardados en lo posible de forma
independiente.
Escalabilidad: Las arquitecturas de Hardware y
Software deben ser fciles de mejorar conforme al
volumen de los datos, definidas para fcil
administracin y manejo de procesos, estimadas por el
nmero de requerimientos de usuarios que determinan
incrementos progresivamente.
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Propiedades
Extensibilidad: La arquitectura debe estar en
capacidad de recibir nuevas aplicaciones y tecnologas
sin redisear el sistema.
Seguridad: Monitorear los accesos es una tarea
esencial previa al almacenamiento de los datos en un
data warehouse.
Administrable: La administracin de los datos en el la
bodega de datos no debe ser compleja.
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Proceso de informacin de la empresa
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
On Line Transacction Processing (OLTP)
OLTP esta encargado de dar soporte a los procesos
diarios de ingreso y mantenimiento de datos en tiempo
real.
Caractersticas
Diseo orientado a la transaccin.
Volatilidad de los datos.
Proporciona soporte muy limitado a la toma de
decisiones.
Arquitectura de DW por capas
DW de 1 capa
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Arquitectura de DW por capas
DW de 2 capas
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
ETL tools (Extraction, transaction, load)
Herramientas de software que permitan:
Extraccin y Transformacin de los datos desde las
fuentes: Bases de datos, ERP, excel, archivos texto, etc.
Carga de los datos transformados a la bodega
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Meta-Data
Es un componente muy valioso para el DW; los datos
provenientes de la metadata se sita en una dimensin
diferente al de otros datos del DW debido a que su
contenido no es tomado directamente desde el ambiente
operacional:
Ing. Santiago Bustamante MBA
Nombres de campos y definiciones
Mapeo de los datos
Tablas
ndices
Cronogramas de extraccin y carga
Criterios de seleccin
Clculos de los datos derivados
Transformacin de los datos
Corporacin Universitaria Centro Superior
Cali 2014
Data Mart
Un data mart es un subconjunto o una agregacin de
los datos almacenados en un almacn de datos
principal. Se incluye un conjunto de piezas de
informacin relativa a reas especficas de negocio, un
departamento de la empresa o categoras de usuarios.
Los data marts generados a partir de una bodega de
datos primaria son llamados frecuentemente
dependientes. Pese a que los data marts no son
estrictamente necesarios, son muy tiles para los
sistemas de bodegas de datos en medianas y grandes
empresas
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Implementacin de Data Mart
Top-Down
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Implementacin de Data Mart
Bottom-up
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Arquitectura de DW por capas
DW de 3 capas
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
On Line Analytical Processing (OLAP)
Es un proceso en el que se usan
herramientas netamente anliticas,
que facilitan el anlisis de la
informacin del negocio. Se halla
organizada en entidades y
mtricas, que permiten al usuario
flexibilidad en la ejecucin de
consultas complejas
On Line Analytical Processing (OLAP)
Los servicios OLAP proveen de mltiples niveles de anlisis
entre los cuales podemos mencionar, adems de tener la
capacidad de realizar consultas complejas:
Realizar actividades intensivas de comparacin de datos
Anlisis de tendencias
Reportes
Aislar un grupo de datos con caractersticas especficas
De forma amigable, rpida y confiable.
On Line Analytical Processing (OLAP)
Modelos de almacenamiento - OLAPs
o OLAP Relacional (ROLAP)
o OLAP Multidimensional (MOLAP)
o OLAP Hbrido (HOLAP)
o OLAP de Escritorio (DOLAP)
o OLAP Local (LOLAP)
o OLAP orientado para la web (WOLAP)
Modelo de almacenamiento - ROLAP
OLAP Relacional (ROLAP) es un sistema en el cual los datos se
encuentran almacenados en una base de datos relacional.
Tpicamente, los datos son detallados, evitando las agregaciones y
las tablas se encuentran normalizadas.
La arquitectura ROLAP est compuesta por un servidor de base
de datos Relacional y un motor OLAP en un servidor dedicado.
Modelo de almacenamiento - MOLAP
En un sistema OLAP multidimensional (MOLAP) los datos se
encuentran almacenados en una estructura multidimensional.
Para optimizar los tiempos de respuesta, el resumen de la
informacin es usualmente calculado por adelantado. Estas
agregaciones son la base de las ganancias de desempeo de este
sistema.
La arquitectura ROLAP est compuesta por un servidor de base de
datos Relacional y un motor OLAP en un servidor dedicado.
Modelo de almacenamiento - HOLAP
Un sistema OLAP Hbrido (HOLAP) mantiene los registros
detallados en la base de datos relacional, mientras que los datos
resumidos o agregados se almacenan en una base de datos
multidimensional separada.
Este mtodo de almacenamiento es una combinacin de los dos
anteriores e intenta rescatar lo mejor de cada uno.
La arquitectura ROLAP est compuesta por un servidor de base de
datos Relacional y un motor OLAP en un servidor dedicado.
OLTP vs. OLAP
Los OLTP estn orientados a dar soporte a las operaciones diarias
del negocio. Las aplicaciones OLAP se orientan a asistir en el
anlisis del negocio (consultas).
Los OLTP estn orientados a aplicaciones o sistemas los cuales
poseen distintos tipos de datos y diferentes y estructurados para
registrar las transacciones diarias del negocio.
Los sistemas OLAP estn alineados por rea o tema y estn
orientados a la consulta del analista de negocio. Se orientan
totalmente a las consultas.
Ciclo de vida de un DW
Ing. Santiago Bustamante MBA
Corporacin Universitaria Centro Superior
Cali 2014
Data Warehousing
A Warehouse is a place, Warehousing is a process
[[Link]]
Existe una gran cantidad de procesos detrs de una
arquitectura de Data Warehouse de suma importancia
para el mismo. Estos comprenden desde procesos de
extraccin que estudian y seleccionan los datos fuente
adecuados para el Data Warehouse hasta procesos de
consulta y anlisis de datos que despliegan la informacin
de una forma fcil de interpretar y analizar.
Data Warehousing
Extraccin
El proceso de extraccin consiste en estudiar y entender los datos
fuente, tomando aquellos que son de utilidad para el Data
Warehouse.
Transformacin
Una vez que los datos son extrados, stos se transforman. Este
proceso incluye correccin de errores, resolucin de problemas de
dominio, borrado de campos que no son de inters, generacin de
claves, aumento de informacin, etc.
Data Warehousing
Carga e ndices
Al terminar el proceso de transformacin, se cargan los datos en el
Data Warehouse.
Chequeo de Calidad
Una vez ingresada la informacin al Data Warehouse, se realizan
controles de calidad para asegurar que la misma sea correcta.
Consulta
El usuario final debe disponer de herramientas de consulta y
procesamiento de datos. Este proceso incluye consultas, reportes,
aplicaciones DSS, Data Mining, etc.
Data Warehousing
Feedback
Muchas veces es aconsejable seguir el camino inverso de carga. Por
ejemplo, puede alimentarse los sistemas legales con informacin
depurada del Data Warehouse o almacenar en el mismo alguna
consulta generada por el usuario que sea de inters.
Auditoria
Los procesos de auditora permiten conocer de donde proviene la
informacin as como tambin qu clculos la generaron.
