Big Data. Módulo 1
Big Data. Módulo 1
El responsable del área de gobierno de datos y analítica de una empresa de telefonía que tiene más de 8
millones de líneas activas, está necesitando un número mayor de información de los clientes para realizar
campañas de fidelización y retención.
Como el volumen de los datos es muy grande y el procesamiento de los mismos va a ser muy lento, se está
evaluando utilizar big data.
En esta lectura podrás entender a qué nos referimos cuando hablamos de big data.
“Big data es el término empleado para referirse a toda aquella cantidad inteligente de datos que,
debido a sus características, no pueden ser siempre procesados por los sistemas informáticos
actuales” (Fernández, 2017)
Hoy en día, el término “big data” es muy utilizado aunque muchas veces no quede claro a que se
refiere. Al respecto:
Esta palabra se ha utilizado para trasladar al público todo tipo de conceptos entre
los que se incluyen grandes cantidades de datos, analítica de redes sociales,
herramientas de última generación para gestionar los datos, datos en tiempo real y
mucho más. Independientemente de la etiqueta que le colguemos, las empresas
comienzan a comprender y explorar cómo procesar y analizar de nuevas formas
una amplia variedad de información. Al hacerlo, un pequeño pero creciente grupo
de pioneros está logrando resultados empresariales importantísimos.
En sectores de todo el mundo los directivos reconocen la necesidad de aprender
más acerca de cómo explotar big data (IBM, 2012, https://bit.ly/2VyvocW).
Gracias al gran avance que existe en las tecnologías de la información, las organizaciones
empresariales se han tenido que enfrentar al desafío de encontrar nuevos medios que:
… les permitan analizar, descubrir y entender más allá de lo que sus herramientas
tradicionales reportan sobre su información, al mismo tiempo que, durante los
últimos años, el gran crecimiento de las aplicaciones disponibles en internet
(geo-localización, redes sociales, etc.) han sido parte importante en las decisiones
de negocio de las empresas (Tech BI, 2016, https://bit.ly/2KyelkN).
La primera pregunta que posiblemente llegue a su mente en este momento es ¿qué es big data y
por qué se ha vuelto tan importante? Para responderla, podríamos entonces referirnos al big data
en términos generales como la tendencia en el avance de la tecnología que ha abierto las puertas
hacia un nuevo enfoque de entendimiento y toma de decisiones, la cual es utilizada para describir
enormes cantidades de datos (estructurados, no estructurados) que de otra forma, tomaría
demasiado tiempo y serían muy costosos de cargar a un base de datos relacional para su análisis.
De manera que, el concepto de big data aplica para toda aquella información que no puede ser
procesada o analizada utilizando procesos o herramientas tradicionales.
Ahora bien, big data no se refiere a alguna cantidad en específico, sino que el término es
usualmente utilizado cuando se habla de petabytes y exabytes de datos. Entonces, ¿cuánto es
demasiada información de manera que sea elegible para ser procesada y analizada utilizando big
data? Analicemos esto primeramente en términos de bytes:
Si hablamos de las características principales de una oportunidad para big data, podemos
comenzar diciendo que mucho se habla del gran volumen de información, pero además, que este
existe en una gran variedad de datos que pueden ser representados de diversas maneras en todo
el mundo, por ejemplo, dispositivos móviles, audio, video, sistemas GPS, incontables sensores
digitales en equipos industriales, automóviles, medidores eléctricos, veletas, anemómetros, etc.,
los cuales pueden medir y comunicar el posicionamiento, movimiento, vibración, temperatura,
humedad y hasta los cambios químicos que sufre el aire, de tal forma que las aplicaciones que
analizan estos datos requieren que la velocidad de respuesta sea lo más rápida posible para
lograr obtener la información correcta en el momento preciso.
1 quintillón = 1 000 000 000 000 000 000 000 000 000 000
De acuerdo con un estudio realizado por Cisco, entre el 2011 y el 2016 donde
refleja que la cantidad de tráfico de datos móviles crecerá a una tasa anual de
78%, así como el número de dispositivos móviles conectados a Internet excederá
el número de habitantes en el planeta. Las naciones unidas proyectan que la
población mundial alcanzará los 7.5 billones para el 2016 de tal modo que habrá
cerca de 18.9 billones de dispositivos conectados a la red a escala mundial, esto
conllevaría a que el tráfico global de datos móviles alcance 10.8 Exabytes
mensuales o 130 Exabytes anuales. Este volumen de tráfico previsto para 2016
equivale a 33 billones de DVDs anuales o 813 cuatrillones de mensajes de texto.
Pero no solamente somos los seres humanos quienes contribuimos a este
crecimiento enorme de información, existe también la comunicación denominada
máquina a máquina (M2M machine-to-machine) cuyo valor en la creación de
grandes cantidades de datos también es muy importante. Sensores digitales
instalados en contenedores para determinar la ruta generada durante una entrega
de algún paquete y que esta información sea enviada a las compañías de
transportación, sensores en medidores eléctricos para determinar el consumo de
energía a intervalos regulares para que sea enviada esta información a las
compañías del sector energético. Se estima que hay más de 30 millones de
sensores interconectados en distintos sectores como automotriz, transportación,
industrial, servicios, comercial, etc. y se espera que este número crezca en un 30%
anualmente (Barranco Fragoso, 2012, https://bit.ly/2KuOt9w).
Para concluir, es importante destacar que la big data “no solo produce un cambio radical en la
gestión empresarial, pues además de ofrecer un gran servicio informático a negocios de todo el
mundo, ha conseguido cambiar muchos aspectos de nuestra vida cotidiana” (Linkeit, s.f.,
https://bit.ly/34XBiHN)
Si ya terminaste esta lectura, ahora puedes reunirte con tus pares y explicarles con claridad qué
es big data y cómo beneficiaría a una compañía.
El gerente de la compañía para la cual te contrataron, luego de entender qué es el big data, te cita para
autorizar el presupuesto. En este momento debes explicarle cuáles son las características y las ventajas de
utilizar big data para procesar los volúmenes de información que generan los clientes.
A continuación, justamente, desarrollaremos las características del big data y las ventajas de implementarlo.
VISUALIZACIÓN:
Uno de los desafíos de quienes realizan análisis de datos es encontrar la manera de representar
la información de forma sencilla y entendible. De todas formas, visualización no es sinónimo de
gráficos sencillos, por el contrario, se trata de lograr que extensas listas de variables sean fáciles
de leer y entender.
VALOR:
Dependiendo de cada industria, el big data posee diferente valor. Al mismo tiempo, la información por sí
misma no tiene ningún valor. Este valor está dado por el análisis de los datos y cómo estos se convierten en
información y, eventualmente, en conocimiento.
Las tres 'V' del Big Data (velocidad, volumen y variedad) reflejan el reto al que se enfrentan las
grandes compañías a la hora de dar a los datos un valor para tomar mejores decisiones, mejorar
las operaciones y reducir los riesgos. Por lo tanto, es necesario poder navegar de forma fácil para
obtener la información tanto dentro de los sistemas de la compañía como los datos que llegan
desde afuera.
El aumento del llamado “bruto de datos” o “ruido” plantea el dilema de cómo contextualizar estos
datos para alimentar un mejor análisis y una mejor toma de decisiones. La exploración de datos,
además de ofrecer soluciones a estos problemas, también contribuye a disminuir el riesgo de
filtración de información confidencial gracias a sus mecanismos de seguridad.
Extensión de la seguridad/inteligencia
Mecanismos para localizar anomalías y prevenir ataques. Este tipo de soluciones permite discernir
entre cantidades masivas de datos (tanto internos como externos) posibles relaciones ocultas,
detectar patrones de conducta y prevenir amenazas a la seguridad. También posibilita descubrir
un fraude mediante la comprobación en tiempo real del historial de actividad de una cuenta, con lo
que es factible desenmascarar un comportamiento anormal de un usuario o una transacción
sospechosa.
También permite examinar nuevas fuentes y variedades de datos como pruebas de una actividad
criminal, por ejemplo, internet.
Análisis de operaciones
Permite obtener visibilidad en tiempo real de las operaciones, la experiencia del cliente,
transacciones y comportamiento. Dinamiza el plan para incrementar la eficiencia de las
operaciones, identifica e investiga las anomalías, y monitoriza la infraestructura end-to-end para
evitar de forma preventiva la degradación o apagones en el servicio.
Con un acelerador de datos permite ingerir y procesar grandes volúmenes de datos para
proporcionar un conocimiento detallado del estado de la compañía. Los machine data pueden ser
correlacionados con otros datos de la empresa como información del cliente o del producto,
aunque el gran volumen de datos esté en formatos distintos que, sin la solución, no son
compatibles con los demás.
Esta combinación es de gran utilidad para los encargados de tomar las decisiones operativas, a la
vez que aumenta la inteligencia y la eficiencia de las operaciones. Estos responsables de la toma
de decisiones pueden visualizar los datos a través de distintos sistemas para obtener la visión más
informada posible y poder reaccionar de forma rápida ante cualquier imprevisto.
Ahora sí estás listo para ir a la reunión con el gerente de la compañía y explicarle qué
características, ventajas y usos tiene big data.
Cada vez es más frecuente encontrar ofertas de empleo que buscan especialistas
en la gestión de grandes volúmenes de datos o, lo que es lo mismo, expertos en
big data. Considerada una de las profesiones con más futuro del siglo XXI, el
experto en big data se alza como la nueva especialidad más demandada por las
empresas para convertir los datos en conocimiento.
Teniendo en cuenta que el 90 % de todos los datos del mundo se han creado sólo
en los últimos 3 años, los expertos en big data se precisan más que nunca
(https://bit.ly/2XRa04i).
Siempre hay variación en el tipo de trabajo y rol que desempeñan los empleados
en las empresas, el mismo avance tecnológico hace evolucionar las distintas
disciplinas. En este sentido, Juan (2016) sostiene:
Es así como muchos son los puestos de trabajo que, como consecuencia de la
crisis, las empresas no precisan. Sin embargo, hay otros nuevos que surgen a raíz
de las necesidades que demanda la transformación digital. En un entorno que
evoluciona tan rápido tecnológicamente, las compañías buscan ahora a
especialistas capaces de trabajar con los grandes volúmenes de datos que se
almacenan día a día. Esos datos, debidamente analizados y procesados, son en
realidad información muy útil para las empresas y representan nuevas
oportunidades de negocio, mejoras en la toma de decisiones, conocimiento más
preciso del público objetivo (https://bit.ly/2XRa04i).
Por otra parte, retomando lo que se menciona en el párrafo anterior, Juan (2016)
agrega:
¿El problema? La falta en el mercado actual de personas especializadas en Big
Data que puedan ofrecer estos servicios. ¿La ventaja? Aquellas personas que
estén formadas en esta área tienen ante sí una oportunidad única y una clara
ventaja en el ámbito profesional. (https://bit.ly/2XRa04i).
Por otra parte, Eurecat (2016) realizó una lista de los roles esenciales que deberían incorporar las
distintas empresas:
¿Cuáles son los perfiles que deben integrar estos equipos? ¿Cómo podemos
determinar los roles y las responsabilidades? El Centro de Excelencia en Big Data
de Eurecat identifica en el primer número de la colección Big Data Insights, que
publicará regularmente el centro de excelencia en Big Data de Barcelona, los 7
roles fundamentales a incorporar en empresas:
1. Chief Data Officer (CDO): es el responsable de asegurar que la organización es data
driven. Lidera la gestión de datos y analítica asociada por el negocio y, por tanto, es
responsable de los diferentes equipos especialidades en datos.
2. Data Scientists (científico de los datos): son los miembros clave del equipo de ciencia
de datos. Permiten extraer conocimiento e información valiosa de los datos. Tienen visión
general del proceso de extremo a extremo y pueden resolver problemas de ciencias datos,
la construcción de modelos analíticos y algoritmos. Combinan diversas habilidades
relacionadas con las matemáticas, la estadística, la programación y visualización, pero
también deben tener habilidades comunicativas, para explicar los resultados obtenidos en
la organización.
3. Citizen Data Scientist: es la persona dentro de la organización que típicamente no está
formada específicamente para ser Data Scientist, pero que puede extraer valor, a través de
su experiencia, explorando los datos, desde las unidades de negocio. Pueden ejecutar una
serie simple de tareas analíticas utilizando herramientas de descubrimiento de datos.
4. Data Engineer (ingeniero de datos): Se encarga de proporcionar los datos de una
manera accesible y apropiada a los usuarios y Deata scientists. Es un perfil especializado
en infraestructura big data. Desarrolla y explota técnicas, procesos, herramientas y
métodos que deben servir para el desarrollo de aplicaciones big data. Tiene un gran
conocimiento en gestión de bases de datos, arquitecturas de clusters, lenguajes de
programación y sistemas de procesamiento de datos.
5. Data Steward (administrador de datos): es responsable de mantener la calidad,
disponibilidad y seguridad de los datos. Persigue mejorar el almacenamiento y
presentación de los datos en toda la empresa. Tiene conocimientos de los procesos de
negocio y de cómo los datos se utilizan dentro de estos procesos.
6.Business Data Analyst (analista de datos): participa en las iniciativas y proyectos de
análisis de datos. Es la persona que recoge las necesidades de los usuarios de negocio
para los Data Scientist y presenta resultados obtenidos.
7. Data Artist: son expertos en Business Analytics y son los responsables de crear los
gráficos, infografías y otras herramientas visuales para ayudar a las diferentes personas de
la organización a comprender datos complejos (https://bit.ly/2XXT1gv).
Cada vez surgen más especializaciones de Big Data, ya que la revolución digital
crece a pasos agigantados y los complejos volúmenes de datos también. Las
empresas demandan estos perfiles para poder introducirse en los procesos de
transformación digital, tan necesarios actualmente (https://bit.ly/2XRa04i).
Ya conoces todos los perfiles que pueden intervenir para llevar adelante big data.
Ahora, ponte a buscar a los profesionales que consideras que harán falta para dar soporte a los
objetivos de tu organización.
Lectura 4. Presente y futuro del Big Data
El big data es muy nombrado, sin embargo, se conoce muy poco sobre qué es, para qué se usa y qué
aplicaciones tiene en la vida real, fuera de las empresas. Supongamos que te llaman de un colegio
secundario con orientación en informática para que les des una charla con el objetivo de que los estudiantes
puedan conocer de qué se trata el big data.
Gracias a la fuerte adopción y desarrollo del big data, ahora las organizaciones de
todo el mundo están descubriendo nuevas formas de competir, mejorar y ganar. Su
actual proceso de cambio les permite sacar ventaja del amplio abanico de
información disponible con el fin de enriquecer sus decisiones y acrecentar el
rendimiento de la empresa. Organizaciones de diferentes tamaños ya han optado
por usar de forma inteligente los datos disponibles, brindado a cada uno de los
sectores de la compañía las herramientas necesarias para que estos tomen las
mejores y más oportunas decisiones (IDATHA, 2014, https://bit.ly/2VWTL2W).
El big data es para todo tipo de organizaciones, cada empresa “sin importar su tamaño, puede
verse beneficiada en la utilización de nuevas herramientas de análisis que generen valor y brinden
acceso a mejores oportunidades para su negocio” (IDATHA, 2014, https://bit.ly/2VWTL2W).
Existen muchos proveedores de macrodatos, es fundamental tener claro el objetivo de big data
que persigue la organización para poder evaluar los proveedores de estas soluciones. Una amplia
variedad de empresas proporciona productos y servicios acorde a las necesidades del cliente, de
este modo permiten desarrollar de forma eficiente la estrategia de la empresa. Entender
correctamente la información es la clave para el crecimiento y evolución de los negocios (IDATHA,
2014).
Gordino continua “actualmente, se estima que el 90 % de los datos creados en los últimos dos
años -de los que el 80 % están sin estructurar- son acrónimos o tienen ironía, es decir, «llevan
asociados sentimientos»” (2013, https://bit.ly/3cGOtQ0).
Siguiendo la misma línea de reflexión, Godino (2013, https://bit.ly/3cGOtQ0) agrega: “Las
empresas españolas incorporarán en menos de dos años, big data a una velocidad del 304 % con
respecto a este año, según datos de la consultora IDC. Pero, ¿las empresas saben aprovechar
sus posibilidades?”.
Por su parte, Merco (citado en Godino, 2013) menciona:
Las empresas cada vez son más conscientes de las posibilidades que ofrece [el
big data] y las empiezan a aprovechar. El verdadero reto no es tanto crear la
arquitectura que sea capaz de recoger y almacenar todo ese volumen ingente de
datos sino en ser capaz de separar lo relevante de lo que no lo es y de explotarlo
con las técnicas analíticas precisas en el menor tiempo posible de respuesta. El
foco está puesto en entender lo que nos dicen los datos y en sacar partido a todo
su valor para las organizaciones (https://bit.ly/3cGOtQ0).
Por ejemplo, para gestionar mejor la relación con los clientes mejorando su
satisfacción y fidelización se busca desarrollar aquellos productos que el mercado
demanda, detectar el fraude y evitar grandes pérdidas económicas o predecir el
comportamiento de los consumidores para realizar acciones comerciales más
efectivas.
Entre los beneficios que aporta el análisis de datos masivos a la sociedad se
encuentran, por ejemplo, adelantarse a futuras conductas de actuación o gestión
de expectativas de los ciudadanos. Y de ahí surgen los comportamientos y
publicaciones que los internautas envían a los diferentes canales de internet como
redes sociales, «fuentes de información que nos permite adelantarnos a futuras
conductas de actuación» (https://bit.ly/3cGOtQ0).
Ventajas a la sociedad
Según lo establece Merco (citado en Godino, 2013):
El big data nos lleva a hacer preguntas y encontrar respuestas, no solo para la
empresa, sino también para la sociedad. Por ejemplo, con analítica avanzada de
big data es posible ayudar a evitar la extinción de animales tan representativos
como el oso polar o los rinocerontes blancos, a través de un seguimiento de los
ejemplares que hay en libertad y el estudio en las zonas en las que habita. Otras
soluciones de big data ayudan a los bomberos de Londres para establecer la
disponibilidad de efectivos dentro de la ciudad dependiendo de qué zonas sean
más propensas a sufrir incendios, y ayudar así a prevenirlos
(https://bit.ly/3cGOtQ0).
La gestión correcta de los datos en las compañías está generando una corriente en
los consejos de administración de las compañías, que cada vez son más
conscientes de que los datos y su analítica como un activo donde hay que invertir.
Y son necesarios nuevos tipos de perfiles que hay que desarrollar o encontrar en el
mercado para cuidar y sacar el máximo de esos activos (https://bit.ly/3cGOtQ0).
¿Cómo imaginan los expertos el futuro de esta tendencia? Big data es una
realidad, da igual que el término en sí suene en ocasiones a sobrevendido en los
últimos años. Ya es una realidad en muchas empresas que empiezan en el mundo
del big data analizando lo que más les importa: sus clientes. Las experiencias en
“big data marketing” son las más innovadoras, las más reales, y las capacidades
que entregan están al nivel de películas de ciencia ficción.
El análisis de datos masivos es el eje central del modelo de negocio de las grandes
compañías. El volumen de publicidad que algunas de estas empresas venden es
tan alto gracias a la existencia de estos datos masivos que, gracias a la capacidad
de dar un mensaje relevante a cada persona o a la audiencia en cada momento.
Del mismo modo, los motores de búsquedas relacionadas que suponen un gran
volumen de ventas para compañías como Amazon, no son más que el resultado
del tratamiento de los datos masivos. Analizarlos permite ofrecer a los clientes una
oferta que, con un alto porcentaje de probabilidad será de su interés, lo que
provoca que se disparen las ventas.
La clave está en conectar puntos, patrones y hacerlo de modo que el cliente sienta
que lo que le ofreces solo está disponible en ese momento, en tiempo real, y para
él. (https://bit.ly/3cGOtQ0).
Con todo este material, arma tu charla y ve a la escuela y comparte tus conocimientos con los
alumnos.
Revisión del Módulo 1: Introducción general y ecosistema big data
01 - ¿Qué es big data?: Esta palabra se ha utilizado para trasladar al público todo tipo de
conceptos entre los que se incluyen grandes cantidades de datos, analítica de redes sociales,
herramientas de última generación para gestionar los datos, datos en tiempo real y mucho más.
Independientemente de la etiqueta que le colguemos, las empresas comienzan a comprender y
explorar cómo procesar y analizar de nuevas formas una amplia variedad de información.
02- Características: Las características del big data pueden resumirse en las 3V: volumen,
variedad y velocidad. Por un lado, el gran volumen de información; por otro, la variedad de datos,
que pueden ser representados de diferentes maneras en el mundo;y finalmente, la velocidad con
la cual estos datos se generan. Producto del avance tecnológico se agregan “otras 3V”: veracidad,
visualización y valor.
03- Perfiles profesionales de big data: Surgen a raíz de las necesidades que demanda la
transformación digital. En un entorno que evoluciona tan rápido tecnológicamente, las compañías
buscan ahora a especialistas capaces de trabajar con los grandes volúmenes de datos que se
almacenan día a día. Esos datos, debidamente analizados y procesados, son información muy útil
para las empresas y representan nuevas oportunidades de negocio, mejoras en la toma de
decisiones, conocimiento más preciso del público objetivo.
04- Presente y futuro: Es fundamental para las empresas conocer y explorar todos los datos que
dispone. Hay una gran cantidad de conocimiento en la información sin explotar, que puede
proporcionar respuestas y nuevas metodologías para incrementar la productividad y la eficacia,
mientras se disminuyen los gastos innecesarios.