DataOps: Una nueva ruta
Evolucionando nuestras capacidades de Data
Journey DataOps para soluciones de Data & Analytics
Priorizamos mayor
2019-Nov
2020
valor, herramientas,
automatización y
adopción
2021 Realizamos mejoras en
Empezamos con procesos y optimización de
grandes retos pipelines
2022
Mejora Continua y
Reducción de tiempos BCG
Consultoría
Muertos en base a DataOps
indicadores Dar valor al
negocio de
manera
eficiente
DevSecOps 2
DataOps
Características de nuestro ecosistema de Datos
Procesos
• Más de 5000 jobs en • LKDV es una aplicación • Uso del flujo de Desarrollo
Diferentes tecnologías y Premium en el banco (14%
rutina diaria Lake distintos tipos de atención de software (SDLC)
• 15% de la rutina banco del total de cambios) • Roles especializados
agrupadas por complejidad • Más de 20 Squads (10 TM
• 2.4 PETABYTES • Documentación de
c/Squad) referencias CI/CD para
• Demanda Variable ( 9 Data
despliegues en Promedio • Tiempo mediano de
diario) despliegue 1.81 días
Ingenieros
Analistas
Product Owners
Tácticos
3
Automatización, adopción y optimización de Pipelines
Modelos de entrega para la puesta en producción Automatización
de entregales de data
Automatizado
En proceso de auto.
Data Entry Dimensional Data
Experimental Area
(process of inserting data) (Data Marts by BUs) Cross-channel
databases
(enables sharing data
between channels)
ALEXANDRIA
Dimensional Data
Raw Data (Data Marts by BUs)
Universal Data
(structured, semi-
(clean, transformed
structured and
data)
unstructured) Experimental Area Shared services
(Data transfer)
DWH
(ODS, BDS, Data Marts Data Entry
by Bus with data (process of inserting data)
structured)
Dimensional Data
Raw Data
Universal Data (Data Marts by BUs) Corporate Data
(structured, semi-
(clean, transformed (clean, transformed
structured and
Cubierto con pipelines 70% CA Scheduler
unstructured)
data)
Experimental Area
data)
Sin pipelines 30% Jobs
Relations Scheduler
(Configuración del flujo de jobs con predecesores y
(Habilitación de jobs con sus propiedades)
sucesores)
Framework DataOps
MISION
Habilitar al negocio para aprovechar Data de manera
rápida y eficiente, vía acceso a productos de data y
analítica de calidad, de forma automatizada,
agnóstica y democratizada
Mejora Continua y Reducción de tiempos Muertos
Tiempo de Despliegue Resultados 22Q3
Reducción del tiempo de
19% despliegue en comparación al Q2
De los cambios se cierran en
28% menos de 3 días
15% Reducción de tiempos de
espera o “tiempos muertos”
Reducción del indicador del
Distribución de Tiempos de Despliegue
79% tiempo mediano de
Despliegue con respecto a
inicios de año
Reducción de Tiempo muerto (Espera)
Evolución del Tiempo Mediano de Desp
DataOps: Proceso End To End
Evolucionar DataOps
Cloud
Evolucionar DataOps con herramientas Cloud.
One Click Deploy
Despliegue en un solo click
Integración con MLOps
Integración de DataOps y MLOps para contribuir con la Fábrica de Modelos
predictivos
Modelo Predictivo y Alertas
Alertas Real Time
Modelo predictivo para mejoras en Procesos y automatización
8
Aprendizajes
DataOps no es un fin, es un medio para maximizar valor.
Priorizar DataOps en base a las prioridades de negocio.
Las herramientas y automatizaciones son importantes, al igual
que los procesos y las personas.
El camino no siempre es cuesta arriba, también hay retrocesos.
La clave medir y mejorar.
La excelencia técnica no es un factor negociable.
Cambio de mindset del equipo, por un enfoque colaborativo,
todos se involucran en la mejora continua y en experimentar.
Gracias