Calidad y Gestión de Datos Empresariales
Calidad y Gestión de Datos Empresariales
1. Introducción
Resumen: La toma de decisiones está basada en la información que obtenemos de los datos empresa-
Llegar a obtener el valor real de los datos no
riales. Toda toma de decisiones implica aceptar un riesgo, pero lo cierto es que no siempre es fácil
es tarea sencilla. Recogemos y almacenamos
disponer de datos rigurosos… Ante esta situación, ¿cómo podemos alcanzar el auténtico valor de los
datos provenientes de múltiples canales que a
datos y ofrecer una visión consistente del rendimiento empresarial?, ¿cómo conseguir un adecuado
menudo se encuentran almacenados en dife-
rentes sistemas de información y bases de análisis de la información teniendo en cuenta los cambios constantes que ocurren en nuestras organiza-
datos sobre entornos tecnológicos y formatos ciones?
heterogéneos. Aunque tengamos acceso di-
recto a los datos, es difícil disponer de ellos Palabras clave: Calidad de datos, Data Governance, data stewardship, gestión de los datos, gobierno de
dónde, cuándo y cómo los necesitamos, pero los datos, propiedad de los datos.
además los datos suelen estar "sucios", es
decir, repletos de errores, omisiones e incohe- Autor
rencias.
Óscar Alonso Llombart es Ingeniero en Informática de Gestión por la Universidad Autónoma de Barce-
Esta problemática es lo suficientemente im- lona, Master en Ingeniería del Software por la Universidad Politécnica de Cataluña y Postgrado en Data
portante como para hacer fracasar cualquier Mining por la Universitat Oberta de Catalunya. Trabaja como Analysis Manager en Penteo. Cuenta con
proyecto TIC (Tecnologías de la Informa- más de 15 años de experiencia en el ámbito de consultoría tecnológica en áreas como Business
ción y de la Comunicación), iniciativa empre- Intelligence, Datawarehousing, Corporate Performance Management, desarrollos a medida e implanta-
sarial estratégica o incluso toda una compa- ción de metodologías de desarrollo. Es autor de numerosos artículos y estudios sobre la aplicación de los
ñía. La capa de datos de una organización es sistemas de inteligencia de negocio a las estrategias empresariales. Twitter: <@oalonsollombart>;
un componente crítico, sobre el que a menudo Linkedin: <http://www.linkedin.com/in/oscaralonsollombart>.
es fácil hacer suposiciones demasiado opti-
mistas sobre su situación o bien ignorar la
calidad real de los datos.
erróneos a nuestro negocio? Debido a la 2. La gestión de los datos
Por una parte existen datos que sólo se utili- naturaleza dinámica de los datos, que típica- Los procesos de negocio se basan fuertemen-
zan en un entorno tecnológico restringido mente se generan mediante numerosos proce- te en los sistemas de información, sistemas
para un proceso o una aplicación con impac- sos de negocio y fuentes de información que que interactúan entre ellos, que comparten la
to limitado, y por otra existen una serie de son combinadas, almacenadas y utilizadas en información y que deben ser capaces de comu-
datos cuya importancia es fundamental por- varios sistemas, es un importante reto esta- nicarse para poder prestar un servicio adecua-
que definen las identidades más importantes blecer métodos para evaluar el impacto de los do y eficiente a la organización. Además se
(clientes, productos, empleados, proveedo- datos de poca calidad. toman decisiones estratégicas basadas en la
res…), y que deben ser compartidos por información extraída de los sistemas, y he-
múltiples procesos, departamentos y líneas La mala calidad de los datos tiene un coste mos de disponer de información fiable para la
de negocio. Estos datos (los llamados "datos económico real, la eficiencia en los procesos buena gestión corporativa.
maestros") deben ser tratados como un acti- se ve afectada debido a la escasez de datos de
vo estratégico. calidad, y no se alcanzan los beneficios poten- En esta situación hemos de ser conscientes
ciales de los sistemas tanto de los existentes que somos dependientes de la calidad de los
Garantizar la calidad, integridad y exactitud como de nuevos proyectos. datos que tenemos en nuestra organización.
de los datos es uno de nuestros principales Los datos como entidad por sí misma no
retos. Obtener la visión única de los datos de De las investigaciones realizadas por Penteo aportan valor añadido al negocio y las solu-
manera transversal a través de los departa- se desprende que todavía existe un importante ciones de inteligencia empresarial no son nada
mentos de una empresa, las distintas líneas de gap para conseguir una verdadera inteligencia si no disponemos de datos fiables. Son
negocio o las distintas compañías de un de negocio. Si bien son muchas las compañías aquellas compañías que han gestionado ade-
grupo, es un factor crítico para facilitar la que han implantando sistemas de inteligencia cuadamente la calidad de los datos las que
consecución de los objetivos de negocio. de negocio en un porcentaje relevante, lo han han evitado los problemas derivados de la
hecho con proyectos aislados, dando res- toma de decisiones basada en información
Tener como objetivo unos datos de calidad es puesta a necesidades muy específicas. En la errónea.
una filosofía que alinea la estrategia, la cul- gran mayoría de las compañías las dificulta-
tura empresarial, y la tecnología con el fin de des para encontrar y explotar adecuadamente La gestión de los datos es la primera pieza
gestionar los datos en beneficio propio. En datos e información respecto el estado y sobre la que sustentar una adecuada explota-
pocas palabras, se trata de una auténtica evolución del propio negocio son un denomi- ción de la información (ver figura 22), con-
estrategia competitiva, cada empresa tiene la nador común (ver figura 1 1). Esta situación siderando los datos y posterior información
oportunidad de diferenciarse mediante la ca- impacta invariablemente en el negocio en inferida a partir de ellos como activos empre-
lidad de sus datos. términos de aspectos económicos, confianza sariales valiosos. Los datos y la información
sobre los datos, cumplimiento de regulacio- han de ser gestionados de manera cuidadosa,
¿Pero hasta qué punto afectan los datos nes, satisfacción y productividad. como cualquier otro activo, asegurando la
Figura 1. ¿Cuáles son los principales problemas en la toma de decisiones? Fuente: Penteo.
calidad, seguridad, integridad, disponibilidad La gestión de los datos debe ser vista como un conjunto de políticas y procedimientos
y uso efectivo. una función de negocio, únicamente compar- que combinados establecen los procesos que
tiendo la responsabilidad de la gestión de los supervisan el uso y gestión de los datos para
Los objetivos de la gestión de los datos son: datos entre los usuarios propietarios de los transformarlos en un activo estratégico, con
Comprender las necesidades de informa- datos y el departamento TIC llegaremos a el objetivo de llevar a nuestra compañía a un
ción de la organización. obtener una auténtica ventaja competitiva nivel superior de "madurez en el uso de la
Capturar, almacenar, proteger y asegurar mediante el adecuado uso de la información. información", mejorar la calidad de los datos
la integridad de los activos de los datos. y solucionar los posibles inconsistencias,
Mejorar de manera continua la calidad de 3. Data Governance (la tecnología gestionar el cambio en relación con el uso de
los datos y de la información incluyendo la por sí sola no puede resolver el los datos, y cumplir con regulaciones y
exactitud, integridad, integración, relevancia problema) estándares internos y externos.
y utilidad de los datos. Data Governance…1 ¿qué es?, ¿por qué es
Asegurar la privacidad y la confidencialidad, importante?, ¿cuál es la relación entre gobier- Data Governance es la piedra angular sobre la
y prevenir el uso no autorizado e inapropiado no y propiedad de los datos?, ¿incluye el que sustentar todas las prácticas relaciona-
de los datos y la información. concepto de gestión de los datos el gobierno das con la gestión de los datos, que interactúa
Maximizar el uso efectivo y el valor de los de los datos?, ¿sabemos en qué costes está e influencia con todas y cada una del resto de
activos de los datos y la información. incurriendo nuestra organización por tener estas, como son los proyectos de calidad de
Controlar (y conocer) el coste de la ges- datos duplicados o por no disponer de defini- los datos, integración de datos o
tión de los datos. ciones estándares de datos comunes? … Si no datawarehousing2 . El gobierno de los datos
Promocionar un uso y un conocimiento somos capaces de contestar a estas cuestio- es el ejercicio de autoridad y control (planifi-
más amplio y profundo del valor de los acti- nes, quizás debamos plantearnos una estra- cación, monitorización y ejecución) sobre la
vos de los datos. tegia para hacer frente a la necesidad de com- gestión de los activos de datos, no gobierna
Gestionar la información de manera con- prender y utilizar los datos de manera más los datos directamente sino que gobierna
sistente a lo largo y ancho de la organización. efectiva y eficiente. cómo los usuarios acceden a los datos a
Alinear la gestión de los datos y la tecno- través de la tecnología.
logía necesaria con las necesidades del nego- Para alcanzar este objetivo las compañías han
cio. de implantar proyectos de Data Governance, El programa de Data Governance guía cómo
han de actuar el resto de funciones de gestión
de los datos, estableciendo los propietarios de
los datos, tanto a nivel ejecutivo como ope-
rativo. Además ha de balancear adecuada-
mente objetivos contrapuestos como son el
cumplimiento de regulaciones, que limitan el
acceso a los datos, y los procesos de integra-
ción del negocio que amplían el acceso a
estos. Las tareas que un programa de Data
Governance ha de llevar a cabo son:
Guiar a los gestores de la información en
la toma de decisiones.
Asegurar que la información se define de
manera consistente y es comprendida por
todos los actores implicados.
Incrementar el uso y confianza de los
datos como un activo de gran valor.
Mejorar la consistencia de los proyectos
a lo largo y ancho de la organización.
Asegurar el cumplimiento de regulacio-
Figura 2. La gestión de los datos y la información. Fuente: Penteo nes internas y externas.
Eliminar posibles riesgos asociados al la cultura empresarial. Es negocio quien debe Conocer el negocio, sus procesos, las
uso de los datos. liderar la iniciativa, la implantación de Data capacidades analíticas de los sistemas, y la
Governance es un importante cambio de estrategia de la compañía para poder estable-
Los proyectos de implantación de programas mentalidad que debe transcender a todas las cer un plan director de gobierno de datos.
de Data Governance son tan únicos como las áreas de la compañía. Conocer la organización y canalizar la
compañías que los implantan. Sin embargo, cultura en el acceso a la información.
los marcos estructurales que se han utilizado La responsabilidad compartida es el sello distin- Mantenerse al corriente de las nuevas ca-
son en realidad bastante similares entre ellos. tivo del gobierno de datos ya que requiere de pacidades que la tecnología pueda aportarle
Existen componentes fundacionales comu- trabajo a través de fronteras organizativas y de a la organización.
nes sobre los que construir la iniciativa: sistemas, algunas decisiones son principalmen-
Organización, estructura de recursos te de negocio con aportaciones y guías del Uno de los problemas históricos en los pro-
responsables de desplegar las capacidades de departamento de TIC, mientras que otras son yectos de implantación de iniciativas de Data
gobierno y administración de las actividades. decisiones técnicas con aportaciones y guías Governance es la ausencia de un adecuado
Políticas, principios y estándares, guías por parte de los usuarios a diferentes niveles. seguimiento; mientras que algunas organiza-
para la gestión de la información, y principios ciones han definido correctamente políticas y
para asegurar los estándares de datos y los Las distintas unidades del negocio se erigen en procesos de gobiernos, en muchas ocasiones
procedimientos de gobierno. las "propietarias" de los datos, mientras que no se ha establecido la estructura organizativa
Procesos y prácticas, que establecen los el departamento TIC proporciona la estruc- necesaria para hacerlas funcionar adecuada-
principios que guían cómo las políticas y tura y los procesos necesarios. Estos propie- mente.
procesos son creados, modificados e implan- tarios de los datos son expertos en determina-
tados. das áreas temáticas, se erigen en representan- El marco organizativo del programa de go-
Métricas, medidas para monitorizar el tes de los intereses empresariales respecto a bierno de los datos debe dar soporte a las
rendimiento de la iniciativa de gobierno y los datos y toman la responsabilidad acerca necesidades de todos los participantes a lo
acciones para mejorar de manera continúa la de la calidad y uso de estos. largo y ancho de la compañía. Con el adecua-
calidad de los datos. do soporte ejecutivo, el programa de Data
Arquitectura de los datos, incluyendo Si con anterioridad a la implantación de la Governance se beneficiará de la participación
estándares corporativos de los datos, diccio- iniciativa de gobierno de datos, han existido de la empresa en las diferentes funciones
narios de metadatos, y además medidas de proyectos de Business Intelligence, es muy necesarias, tanto tácticas como son las de los
seguridad y privacidad. posible que exista algún tipo de equipo de equipos de coordinación de datos y los pro-
Herramientas y tecnología, las tareas de- Data Governance. Éste, si bien tendrá un pietarios de los datos, como estratégicas.
ben ser automatizadas con el uso de software carácter informal, permitirá mitigar los cos-
siempre que sea posible, mediante herramien- tes y cambios organizativos que suelen reque- Los roles específicos incluyen (ver figura 33):
tas de calidad de datos, data profiling,3 herra- rir este tipo de iniciativas, y seguramente nos Director de Data Governance, responsa-
mientas de gestión de metadatos, permitirá disponer de personas que puedan ble principal de gestionar la iniciativa y asegu-
dashboards4 , etc. ocupar los perfiles que se precisan. rar la máxima adopción en la organización.
Este perfil da soporte a los patrocinadores
4. Organización de un equipo de El personal que forme parte del equipo de ejecutivos y ofrece informes periódicos de
Data Governance Data Governance debe saber cómo utilizar y rendimiento del proyecto, además de negociar
Nos encontramos ante una iniciativa que no analizar la información para facilitar la toma con proveedores externos de datos los acuer-
debe ser contemplada como un proyecto TIC, de decisiones disponiendo de una mezcla de dos de niveles de servicio asociados.
sino como un proceso continuo de cambio de habilidades técnicas, analíticas y de negocio: Comité de Data Governance, comité es-
Data Governance cuando han llegado a un les. Los datos, precisamente por su naturale-
Bibliografía
W
consenso en la decisión con otros cargos za intangible, no son percibidos en muchas
directivos implicados en el proceso y cuando ocasiones como activos estratégicos. No obs- Jill Dyché. Five Models for Data Stewardship.
han conseguido vender internamente el pro- tante, los datos de calidad, precisos y dispo- Baseline Consulting, 2009.
yecto. De esta forma, la implicación en el nibles son un prerrequisito para que las ope- David Loshin. Data Governance for Master Data
Management and Beyond. DataFlux, 2008.
proyecto de las distintas áreas de negocio raciones de cualquier organización sean efec-
Óscar Alonso. Tendencias en el uso de BI en
queda plenamente asegurada de antemano y tivas. España 2009. Penteo, 2009.
por lo tanto el riesgo al abordar el proceso es Óscar Alonso. El problema de la gestión de los
mucho más controlado. Las compañías que son capaces de reconocer datos. Óscar Alonso, Penteo, 2010.
La adopción de Data Governance no se el valor real de los datos, es decir, que han
debe abordar como un proyecto finito. El establecido procesos, políticas y procedimien- Notas
W
cambio de mentalidad y de cultura, y la tos de calidad de datos, que son conscientes
reorientación de la compañía a la calidad de de cuáles son los datos realmente importan- 1
Data Governance es una disciplina emergente
la información son los indicadores que iden- tes o útiles para su negocio y, que en defini- con una definición en proceso de evolución. Esta
tifican el éxito de una iniciativa, por lo que no tiva, confían en la calidad de sus datos, se disciplina abarca una convergencia entre calidad
es usual abordarlo como un proyecto TIC transforman en "organizaciones basadas en de los datos, gestión de los datos, políticas de
típico. los datos". Estas organizaciones se sitúan en datos, gestión de procesos de negocio y gestión
de riesgos alrededor del manejo de los datos en
Gestionar un portafolio de proveedores una clara situación de ventaja respecto a su una organización (Traducción libre de la introduc-
estratégicos. La situación del mercado nos competencia gestionando los datos como un ción al concepto que se encuentra en la Wikipedia
obliga a evaluar, monitorizar y gestionar el activo estratégico más, pero para alcanzar en inglés el 24/6/2011: <http://en.wikipedia.org/
ecosistema de nuestras aplicaciones y la hoja esta meta es necesaria una adecuada visión wiki/Data_governance>).
de ruta del portafolio de soluciones de los estratégica para mejorar la calidad de la infor-
2
Un Data Warehouse (DW) es una base de datos
usada para generación de informes. Los datos son
proveedores para estandarizar y reducir el mación.
cargados desde los sistemas operacionales para
riesgo, la redundancia y los costes. La selec- su consulta. Pueden pasar a través de un almacén
ción de herramientas tiene menos que ver con La implantación de un proyecto de Data de datos operacional para operaciones adicionales
las funcionalidades y más con el hecho que las Governance requiere del soporte de todas las antes de que sean usados en el DW para la
herramientas seleccionadas puedan cumplir áreas del negocio implicadas. Tomando el generación de informes (Traducción libre de la
los requerimientos específicos de negocio. control de los datos podemos retener mejor introducción al concepto que se encuentra en la
Wikipedia en inglés el 24/6/2011: <http://
Planificar y diseñar antes de implantar. a nuestros clientes, aumentar el éxito de estra- en.wikipedia.org/wiki/Data_warehouse>). Se
Nos encontramos ante una iniciativa de com- tegias de marketing, controlar mejor los ries- suele considerar que el término equivalente en
plejidad importante por lo que debemos to- gos y, en definitiva, permitir que la empresa se castellano es "Almacén de datos": "En el contexto
marnos nuestro tiempo para definir exacta- gestione de manera más eficaz y eficiente. de la informática, un almacén de datos (del inglés
mente las bases de nuestro futuro sistema data warehouse) es una colección de datos
orientado a servicios. Debemos esbozar los orientada a un determinado ámbito (empresa,
Una adecuada implantación de Data
organización, etc.), integrado, no volátil y variable
planos de cómo serán nuestros sistemas de Governance elimina las discrepancias entre en el tiempo, que ayuda a la toma de decisiones
información objetivo y avanzar de forma los silos de datos. Sin embargo aquellas en la entidad en la que se utiliza. Se trata, sobre
gradual y progresiva en su consecución. compañías que han implantado estos proyec- todo, de un expediente completo de una organiza-
tos se han dado cuenta en seguida de que los ción, más allá de la información transaccional y
Finalmente, es importante destacar que una plazos de implantación varían mucho en fun- operacional, almacenado en una base de datos
diseñada para favorecer el análisis y la divulgación
estrategia de Data Governance debe diseñarse ción del alcance y que no son simples ejerci-
eficiente de datos (especialmente OLAP, proce-
para ser ágil y adaptativa. Ha de ser tratada cios tecnológicos. samiento analítico en línea)." (Wikipedia en cas-
como un ente vivo que evoluciona constante- tellano 24/6/2011: <http://es.wikipedia.org/wiki/
mente para alcanzar los objetivos empresa- Cuando se adopta correctamente, Data Almac%C3%A9n_de_datos>).
riales. La estrategia debe focalizarse en co- Governance es una disciplina que ayuda a 3
Data profiling es el proceso de examinar los
municar qué estamos planificando implan- alcanzar el verdadero valor de las aplicaciones datos disponibles en las fuentes existentes (por ej,
una base de datos o un fichero) recogiendo
tar, cómo lo vamos a implantar y cuándo los analíticas y debe constituirse en los cimientos estadísticas e información sobre esos datos.
usuarios verán reflejados sus requerimientos para todas las iniciativas de gestión de la (Traducción libre de la introducción al concepto
en el sistema. Empecemos con políticas y información. Pero para alcanzar una adecua- que se encuentra en la Wikipedia en inglés el 24/
guías generales y con diagramas de alto nivel, da gestión de estas entidades es necesaria una 6/2011: <http://en.wikipedia.org/wiki/Data_
a medida que el ecosistema madura en para- adecuada visión estratégica para mejorar la profiling>). En castellano se suele considerar
lelo lo hará la documentación formal y el nivel calidad de la información. "perfilado de datos" como una traducción adecua-
da: "Por perfilado de datos se entiende el análisis
de detalles identificados en la estrategia. Ha de los datos de los sistemas para entender su
de ser nuestra intención evolucionar la estra- Son aquellos proyectos que se enfocan de contenido, estructura, calidad y dependencias":
tegia de gobierno de datos como parte inte- manera iterativa, empezando con aquel con- <http://integraciony calidad.blogspot.com/2008/
grante de la visión de la compañía a medida junto de necesidades y datos que ofrecen el 07/migraciones-fusiones-y-adquisiciones.html>.
que realizamos iteraciones y obtenemos más mayor valor al negocio en el menor tiempo
4
Aunque la palabra inglesa "dashboard" puede ser
y más detalles al respecto. Planifiquemos usada en muchos contextos, en el que nos ocupa
posible los más exitosos. ¿Buscamos una
diríamos que "En gestión de sistemas de informa-
para evaluar y reinventar continuamente a mejor toma de decisiones mediante los siste- ción, un dashboard es un sistema de información
medida que las necesidades del negocio cam- mas de Business Intelligence? Entonces nues- ejecutivo (similar al tablero de instrumentos de un
bian, teniendo en cuenta las tendencias tecno- tro punto de partida deben ser los datos coche) que se diseña para ser fácil de leer".
lógicas actuales y futuras para construir una analíticos. ¿Buscamos conseguir una mayor (Traducción libre de la introducción al concepto que
estrategia de gobierno de datos exitosa. eficiencia operacional o ganar consistencia en se encuentra en la Wikipedia en inglés el 24/6/2011:
<http://en.wikipedia.org/wiki/Dashboards_
los procesos a lo largo de diferentes sistemas (management_information_systems)>). Aunque
7. Conclusiones transaccionales? Entonces empecemos por en castellano abunda una diversidad de traduccio-
Los activos tangibles de las organizaciones los datos operacionales. nes consecuente con la polisemia del término,
tienen valor y son gestionados mediante sis- "tablero de mandos" parecería la más adecuada en
temas de información y procesos empresaria- este contexto.