Nombre:
Adrian Alcantara
Matricula:
2014-0422
Materia:
INF-204 Administración de Centros
Profesor:
José Joaquín Olivo
Practica:
Big Data
Qué es y su importancia.
Big data se refiere a conjuntos de datos que son demasiado grandes o complejos para que el
software de aplicación de procesamiento de datos tradicional pueda manejarlos adecuadamente.
Los datos con muchos casos (filas) ofrecen mayor poder estadístico, mientras que los datos con
mayor complejidad (más atributos o columnas) pueden llevar a una mayor tasa de descubrimiento
de falsos. Los desafíos de big data incluyen la captura de datos, el almacenamiento de datos, el
análisis de datos, la búsqueda, el intercambio, la transferencia, la visualización, la consulta, la
actualización, la privacidad de la información y la fuente de datos. Los datos grandes se asociaron
originalmente con tres conceptos clave: volumen, variedad y velocidad. Otros conceptos que luego
se atribuyen con big data son la veracidad (es decir, cuánto ruido hay en los datos) y su valor.
El uso actual del término big data tiende a referirse al uso de análisis predictivo, análisis de
comportamiento del usuario u otros métodos avanzados de análisis de datos que extraen valor de
los datos, y rara vez a un tamaño particular de conjunto de datos. "Hay pocas dudas de que las
cantidades de datos disponibles en la actualidad son realmente grandes, pero esa no es la
característica más relevante de este nuevo ecosistema de datos". El análisis de los conjuntos de
datos puede encontrar nuevas correlaciones para "detectar tendencias comerciales, prevenir
enfermedades, combatir el crimen y así sucesivamente ". Científicos, ejecutivos de empresas,
profesionales de la medicina, publicidad y gobiernos por igual encuentran dificultades con grandes
conjuntos de datos en áreas que incluyen búsqueda en Internet, fintech, informática urbana e
informática empresarial. Los científicos encuentran limitaciones en el trabajo de e-Ciencia,
incluyendo meteorología, genómica, conectómica, simulaciones de física compleja, biología e
investigación ambiental.
Los conjuntos de datos crecen rápidamente, en parte debido a que cada vez más se reúnen a través
de dispositivos de Internet con dispositivos de detección de información, baratos y numerosos,
como dispositivos móviles, dispositivos aéreos, sensores remotos, registros de software, cámaras,
micrófonos, lectores de identificación por radiofrecuencia (RFID) y redes de sensores inalámbricos.
La capacidad tecnológica per cápita del mundo para almacenar información se ha duplicado
aproximadamente cada 40 meses desde la década de 1980; desde 2012, todos los días se generan
2.5 exabytes (2.5 × 1018) de datos. Sobre la base de una predicción del informe de IDC, el volumen
de datos globales aumentará exponencialmente de 4.4 zettabytes a 44 zettabytes entre 2013 y
2020. [14] Para 2025, IDC predice que habrá 163 zettabytes de datos. Una pregunta para las
grandes empresas es determinar quién debe poseer iniciativas de big data que afecten a toda la
organización.
Los sistemas de gestión de bases de datos relacionales, estadísticas de escritorio [aclaraciones
necesarias] y paquetes de software utilizados para visualizar datos a menudo tienen dificultades
para manejar big data. El trabajo puede requerir "software masivamente paralelo que se ejecuta en
decenas, cientos o incluso miles de servidores". Lo que se califica como "big data" varía según las
capacidades de los usuarios y sus herramientas, y las capacidades de expansión hacen de big data
un objetivo móvil. "Para algunas organizaciones, enfrentarse a cientos de gigabytes de datos por
primera vez puede desencadenar la necesidad de reconsiderar las opciones de administración de
datos. Para otras, puede tomar decenas o cientos de terabytes antes de que el tamaño de los datos
sea una consideración importante".
Principales fases del Big Data
Para comprender mejor qué es Big Data, vamos a dividir el concepto en 2 etapas diferentes:
Etapa de preparación
Fase inicial: es imprescindible valorar que la implementación de una solución de Big Data en
nuestro negocio es una alternativa factible y realista. En caso de que así sea, tendremos que
preparar todo lo necesario y conseguir las autorizaciones pertinentes para poder llevarlo a
cabo.
Detectar necesidades: tienen que ver con el volumen de datos a almacenar, su variedad,
velocidad de recogida, procesamiento y escalabilidad horizontal. En este proceso también se
revelan carencias cuando se confronta la nueva tecnología con la existente en la compañía.
Justificar la inversión: con el Big Data se pretenden mejorar las cuestiones técnicas, al igual que
crear un entorno de alto rendimiento que posibilite el ahorro de costes.
Evaluar las limitaciones: se deberá tener en cuenta la infraestructura de la empresa, su
madurez tecnológica, sus recursos, pero, sobre todo, los aspectos legales en relación a la
privacidad de datos.
Fase de planificación: en esta fase se determinará el presupuesto con el vamos a contar
durante el proceso y los recursos que van a intervenir en el mismo, a saber:
Gestores: sponsors, directores de proyecto, coordinadores y gestores de calidad.
Diseñadores y arquitectos de datos: perfiles técnicos con los objetivos muy claros en cuanto a
la implementación del proyecto.
Implementadores: personal cualificado, analistas y desarrolladores, con conocimientos del
sector y de tecnología.
Operadores de datos: de entrada, intermedios y de resultado.
Fase de diseño: se parte de un diseño acorde a las necesidades de la organización y se va
optimizando teniendo en cuenta el coste, la escalabilidad y las distintas opciones del mercado.
Consta de 2 etapas:
Infraestructura: son las redes, los equipos o los servidores, es decir, el soporte físico de la
solución.
Arquitectura: es el apoyo lógico de la solución, formado por los protocolos, las comunicaciones
o los procedimientos, entre otros.
Fase de implementación: en este punto ya se han tenido que dejar cubiertos aspectos como el
de la administración, el mantenimiento o la seguridad para poder poner en marcha la solución
de Big Data. Los pasos, para ello, son los siguientes:
Instalación de servidores y componentes y puesta en marcha de la infraestructura.
Configuración de dicha infraestructura para su correcto funcionamiento.
Ingesta, transformación y explotación de datos.
2. Etapa de recopilación, análisis de datos y
generación de valor
Fase de recopilación: los datos son los componentes básicos del Big Data. Durante el proceso
se trasformarán en información y, con las técnicas adecuadas, aportarán conocimiento. Aquí ya
podremos hablar de datos inteligentes. Dicho proceso comienza con estos pasos:
Evaluar los datos: se realiza un estudio de la utilidad de los datos, una evaluación de su
volumen y frecuencia de explotación, y una definición de accesos y restricciones para
proteger información confidencial.
Absorber los datos para su explotación: se preparan y estandarizan los datos.
Gestión de datos: en relación a su seguridad, visibilidad, mantenimiento y
disponibilidad.
Fase de análisis: es el núcleo de la solución de Big Data y se concreta en 2 acciones:
Generar los cálculos y algoritmos que se precisen para implementar la solución.
Intervención de especialistas para detectar patrones, tendencias y oportunidades y/o
amenazas.
Fase de agregación de valor: la investigación de los datos por parte de los analistas permite
la elaboración de conclusiones y la identificación de nuevas vías de desarrollo del negocio.
Elementos primordiales del Big Data
Para llevar a cabo todo este proceso sin fisuras, es vital que nuestra solución de Big Data
cuente, al menos, con los siguientes componentes:
Fuentes: las más habituales son los registros históricos de la compañía, los almacenes de
datos, los dispositivos inteligentes, los sistemas de gestión de datos, Internet y el
Internet de las Cosas. Para poder determinarlas es necesaria la puesta en común de los
conocimientos técnicos, por parte de los desarrolladores, y la perspectiva del negocio,
por parte de los analistas.
Capa de almacenamiento: su función es la de recoger y transformar los datos sin perder
de vista la normativa legal. Además, tiene que dar acceso a los datos
independientemente de su formato, volumen, frecuencia u origen.
Capa de análisis: se encarga de leer los datos almacenados. Mediante la utilización de
los modelos, los algoritmos y las herramientas adecuadas, proporciona visibilidad sobre
los datos para que puedan ser consultados en la capa de consumo.
Capa de consumo: son muchos los proyectos y usuarios que se benefician del
conocimiento extraído en todo este proceso. La forma de consumir los datos dependerá
del destinatario, pero será habitual verlos en forma de reporting o visualización en
tiempo real.
Big Data Y el Gobierno Dominicano
Es frecuente que se “estigmatice” el sector público. La percepción general es que en las
organizaciones públicas hay más burocracia, menos eficiencia y pocas posibilidades de innovación.
Hay una tendencia a comparar las organizaciones gubernamentales con otras de naturaleza distinta
y concluir que hay mejor gerencia en aquellas que tienen criterios privados.
Lo cierto es que todas las organizaciones que forman parte de nuestra sociedad tienen fortalezas y
también oportunidades de mejorar en diferentes aspectos, tanto en el ámbito público como
privado. Para mostrar los esfuerzos que el sector público está haciendo para construir innovaciones
que aumenten la satisfacción de los ciudadanos basta con mencionar las iniciativas de Big Data y su
aplicación en el ámbito público.
El Big Data consiste en el manejo y análisis de datos masivos o gran volumen de datos que nos
permiten obtener información útil para la toma de decisiones o desarrollo de soluciones que
permitan dar respuestas eficientes y efectivas a los requerimientos de los ciudadanos. Existen
grandes oportunidades de aplicación de esta nueva tendencia global.
Por ejemplo, las diferentes agencias de gobierno producen una cantidad inmensa de datos que
pueden servir, si sabemos analizarlos, para hacer modelos de predicción de accidentes, frecuencia
de delincuencia, manejo efectivo del tránsito o medir la efectividad de una política pública. En fin,
hay muchísimas oportunidades a la hora de aplicar datos, tecnología e información a la mejora de
los procesos gubernamentales. En nuestro país tenemos la iniciativa de gobierno abierto y datos
abiertos. Creemos firmemente que esto debe fortalecerse y seguir creciendo. En la medida que
tengamos mayor transparencia en los datos públicos, tendremos mejor gobierno y mejor servicio
público. Se hace necesario seguir construyendo un estado innovador y tecnológico
A cuáles riesgos estaría expuesta dicha aplicación
La seguridad
Los ciberataques a grandes corporaciones han llenado portadas en el último año. Programas maliciosos
como WannaCry o Petya pusieron el acento en los datos y en su valor para las compañías. Sin embargo,
la gran mayoría de brechas en la ciberseguridad se producen en las pequeñas y medianas empresas.
Cada vez más empresas acumulan datos de clientes, herramientas online y dispositivos, datos que son
susceptibles al robo. Por eso, los riesgos del Big Data en seguridad no van, precisamente, a dejar de
aumentar.
“Cualquier tipo de dispositivo, como altavoces, objetos domésticos, juguetes, bombillas o coches estará
conectado a Internet”, explica en su blog Bruce Schenir, CTO de IBM Resilient, en referencia al auge del
Internet de las Cosas. “Buena parte de estas redes y sistemas instalados en los dispositivos no cuentan
con el apoyo de buenos equipos de ciberseguridad. Muchas incluso carecen de la posibilidad de ser
actualizadas después de un ciberataque”.
riesgos del big data con el internet de las cosas
Además de en los propios dispositivos generadores de Big Data, existe un gran riesgo en el lugar donde
se almacenan estos datos. “Cuanto más grande e importante sea tu base de datos, más interés atraerá
de los ciberdelincuentes”, señala Bernard Marr, CEO de Bernard Marr & Co y experto en Big Data.
La privacidad
Al hablar de datos y robo de información, no se puede pasar de puntillas por la privacidad de empresas y
usuarios. Y es que uno de los grandes problemas del Big Data es, como explica el analista Taylor
Armending, asegurar que los datos guardados sean anónimos.
Según él, a medida que más y más dispositivos personales contribuyan al torrente de datos se hará más
difícil mantener el anonimato y la privacidad. Una cosa es que las empresas, de forma intencionada,
rechacen acceder a la información personal que también forma parte del Big Data, pero eso no significa
que estos datos no se acumulen y que, llegado el caso, alguien los pueda utilizar.
La discriminación
En relación directa con la privacidad, existe otro punto que se ha ido abriendo camino en el debate
tecnológico. La discriminación (por sexo, religión, etnia, cultura…), algo que creíamos
fundamentalmente humano, debería desaparecer cuando las decisiones las empezasen a tomar
máquinas inteligentes mediante el análisis de Big Data. Pero no ha sido así.
El problema, al parecer, está en los datos en sí mismos. Dado que la gran mayoría se producen, de
momento, por actividades fundamentalmente humanas y los seres humanos tendemos a establecer una
serie de sesgos, los datos, de entrada, serán sesgados. Por ejemplo, si la gran mayoría de fotos de gente
de África disponibles en Flickr son etiquetadas (por humanos) con el tag pobreza, cuando busquemos
pobreza es muy probable que, entre los primeros resultados, nunca aparezca un pobre de origen
europeo.
Para Taylor Armending, el debate no debe centrarse en la discriminación resultante del Big Data en sí,
sino en establecer mecanismos de protección frente a decisiones discriminatorias tomadas por la
inteligencia artificial. Es, sin duda, un debate complejo, pero de sus resultados depende en gran medida
la imagen y la marca de las empresas en la era del Big Data.
Riesgos del big data para la empresa
Los costes para la compañía
Todo el mundo quiere apostar por el Big Data. Todas las compañías repiten términos anglosajones como
business intelligence, data-driven strategy o deep learning. Sin embargo, esta tecnología tiene un coste
que hay que tener en cuenta antes de lanzarse a la piscina.
Aunque las herramientas de análisis, el almacenaje de datos en data centres o el hardware para
procesar la información son, cada vez, más baratos, todavía no son asequibles para cualquier bolsillo. Sin
embargo, los costes reales no son tanto estructurales, sino derivados de los puntos señalados antes y,
sobre todo, de la seguridad y la privacidad.
“La estrategia aquí es fundamental. Se deben tener muy claros los objetivos y los beneficios que
pretendemos conseguir a través de los datos”, explica Bernard Marr. Así se evitará acumular datos
innecesarios, pero susceptibles a robos o a causar problemas con la privacidad que pueden convertirse
en importantes lastres para la compañía, tanto a nivel financiero (por ejemplo, por culpa de las
demandas de los usuarios) como a nivel de imagen.
Cantidad no significa calidad
Aunque se repita con insistencia, el poder real no está en los datos, entendidos como ceros y unos. El
poder real está en su análisis y en extraer las conclusiones correctas, convertirlos en información valiosa
y utilizarla para mejorar los negocios y el mundo.
“Malinterpretar los patrones que muestran los datos y encontrar relaciones de causa-consecuencia
donde no hay más que coincidencias es una trampa mortal”, señala el CEO de Bernard Marr & Co. “Los
datos pueden indicar un aumento de las ventas tras un evento deportivo, llevando al empresario a
establecer un patrón entre los aficionados a ese deporte y la demanda de tu producto, pero, en
realidad, las ventas pueden haber subido simplemente porque el evento atrajo a más personas a la
ciudad”.
Riesgos del big data en el trabajo
Al igual que el Big Data puede perder relevancia si se analiza e interpreta de forma incorrecta, también
pierde valor si los datos se recaban de forma errónea o imprecisa. El volumen de datos derivados del
uso de herramientas digitales y plataformas online es cada vez mayor. Por eso, determinar qué datos
son necesarios para nuestro negocio ahorrará costes, tiempo y reducirá los riesgos.
Como en todo, riesgos significa oportunidades. Conocer los desafíos que presenta esta tecnología
disruptiva puede convertirse en una ventaja competitiva para nuestra empresa. Ignorar los riesgos del
Big Data, como ya hemos visto, puede acabar convirtiendo la innovación en un lastre.
