Bryan Daniel Quiñones Garcia
2022-0150
Práctica de la unidad
1- Cómo funciona el Big Data
El funcionamiento del Big Data implica gestionar y procesar grandes cantidades
de datos que superan la capacidad de las herramientas tradicionales de
procesamiento. Aquí se presenta una visión general de cómo funciona el Big
Data:
Captura de Datos:
Comienza con la recopilación de datos provenientes de diversas fuentes, como
sensores, redes sociales, registros de transacciones, dispositivos IoT, archivos de
registro, entre otros.
Almacenamiento:
Los datos se almacenan en sistemas distribuidos y escalables diseñados para
manejar grandes volúmenes de información. Tecnologías como Hadoop
Distributed File System (HDFS) o sistemas de bases de datos NoSQL son
comúnmente utilizadas.
Procesamiento:
El procesamiento de datos se realiza para extraer información valiosa. Esto
puede incluir la limpieza y transformación de datos, así como el análisis
exploratorio para comprender la naturaleza de los datos.
Análisis y Modelado:
Se aplican técnicas analíticas y modelos estadísticos para identificar patrones,
tendencias y relaciones en los datos. Algoritmos de aprendizaje automático
pueden ser utilizados para predecir comportamientos futuros o realizar
clasificaciones.
Almacenamiento de Resultados:
Los resultados del análisis se almacenan y, en muchos casos, se utilizan para
retroalimentar el sistema y mejorar modelos o procesos en futuras iteraciones.
Visualización y Comunicación:
La información se presenta visualmente a través de gráficos, tablas u otros
formatos comprensibles para los usuarios. Esto facilita la interpretación de los
resultados y la toma de decisiones informadas.
Aprendizaje Automático Continuo:
En algunos casos, el sistema puede incorporar aprendizaje automático continuo,
ajustando modelos en tiempo real a medida que se generan nuevos datos.
El proceso en sí puede variar según la naturaleza específica del proyecto y las
tecnologías utilizadas. El objetivo final es extraer valor significativo de grandes
conjuntos de datos, proporcionando información valiosa para la toma de
decisiones y la mejora de procesos.
Las 3V del Big Data:
El término "Big Data" se caracteriza comúnmente por las "3V": Volumen,
Velocidad y Variedad. Esto se refiere al gran volumen de datos, la velocidad a la
que se generan y la diversidad de tipos de datos que se manejan.
Otras V's del Big Data:
Además de las 3V, se han propuesto otras "V's" para describir características
clave del Big Data, como Veracidad (confiabilidad de los datos), Valor
(obtención de valor de los datos), y Variabilidad (manejo de datos
inconsistentes).
Tecnologías Clave:
Para gestionar el Big Data, se utilizan diversas tecnologías y herramientas, como
Hadoop, Apache Spark, NoSQL databases, y frameworks de machine learning
como TensorFlow y scikit-learn.
Desafíos Éticos y de Privacidad:
El manejo de grandes cantidades de datos ha planteado desafíos éticos y de
privacidad. La recopilación, almacenamiento y análisis de datos a gran escala ha
llevado a un mayor escrutinio en cuanto a la privacidad y el uso ético de la
información.
Aplicaciones en Diversos Sectores:
El Big Data se aplica en una amplia variedad de sectores, desde la salud y la
banca hasta la manufactura y el comercio minorista. En la salud, por ejemplo, se
utiliza para el análisis de registros médicos electrónicos y la investigación
clínica. En el comercio minorista, se emplea para la personalización de la
experiencia del cliente y la gestión de inventarios.
Aprendizaje Automático y Big Data:
El aprendizaje automático (machine learning) es una parte integral del Big Data.
Permite a los sistemas aprender patrones y realizar predicciones a partir de
grandes volúmenes de datos. Los algoritmos de aprendizaje automático pueden
descubrir insights y automatizar tareas complejas.
Edge Computing y Big Data:
La computación en el borde (Edge Computing) ha ganado importancia en el
contexto del Big Data. En lugar de enviar todos los datos a centros de
procesamiento centralizados, el Edge Computing realiza el procesamiento de
datos más cerca de donde se generan, reduciendo la latencia y mejorando la
eficiencia.
Evolución Continua:
El Big Data sigue evolucionando con avances constantes en tecnologías,
herramientas y enfoques. Conceptos como el procesamiento en tiempo real, la
inteligencia artificial y la analítica predictiva están moldeando el futuro del Big
Data.
2- Cuáles son las mejores prácticas del Big Data:
Definir Objetivos Claros:
Antes de comenzar un proyecto de Big Data, es crucial tener objetivos claros y
definidos. Comprender qué se quiere lograr ayuda a orientar el enfoque del
análisis.
Calidad de Datos:
Asegurar la calidad de los datos es fundamental. Los datos precisos, completos y
relevantes son la base de cualquier análisis significativo. Se deben implementar
procesos para limpiar y validar los datos.
Seguridad y Privacidad:
Dado que el Big Data implica el manejo de grandes cantidades de información,
la seguridad y la privacidad son preocupaciones críticas. Es necesario
implementar medidas robustas de seguridad para proteger los datos y cumplir
con las regulaciones de privacidad.
Escalabilidad:
Utilizar arquitecturas y sistemas escalables que puedan manejar eficientemente
el crecimiento de los volúmenes de datos. Esto es crucial para garantizar el
rendimiento a medida que los conjuntos de datos aumentan en tamaño.
Colaboración Interdisciplinaria:
Fomentar la colaboración entre expertos en datos, científicos de datos,
desarrolladores y profesionales del dominio específico. La colaboración
interdisciplinaria permite aprovechar completamente el conocimiento y la
experiencia de cada área.
Automatización:
Implementar la automatización en la medida de lo posible para agilizar
procesos. Esto puede incluir la automatización de tareas de limpieza de datos,
procesos de ETL (Extract, Transform, Load), y otros flujos de trabajo.
Monitoreo y Mantenimiento:
Establecer sistemas de monitoreo continuo para evaluar el rendimiento del
sistema y detectar posibles problemas. Además, planificar un mantenimiento
regular para asegurar la eficiencia y la integridad del sistema.
Flexibilidad y Adaptabilidad:
Dada la naturaleza dinámica del Big Data, es crucial mantener flexibilidad y
adaptabilidad en las soluciones implementadas. Los cambios en los requisitos y
en los conjuntos de datos deben ser manejados de manera eficiente.
Gestión de Metadatos:
Establecer una sólida gestión de metadatos para rastrear la procedencia y el
contexto de los datos. Esto facilita la comprensión y el seguimiento de los
procesos analíticos.
Documentación Efectiva:
Documentar de manera efectiva todos los pasos del proceso, desde la
adquisición de datos hasta los resultados del análisis. La documentación es
clave para la reproducibilidad y la transparencia.
