1. ¿Qué es MapReduce?
Es un modelo de programación y procesamiento de datos diseñado para procesar
grandes conjuntos de datos de manera distribuida en un clúster de computadoras.
2. ¿Qué es Sqoop?
Es una aplicación con interfaz de línea de comando para transferir datos entre
bases de datos relacionales y Hadoop.
3. ¿Dónde se utiliza Sqoop?
Puede usarse para importar datos desde un sistema de administración de bases de
datos relacionales (RDBMS) como SQL Server, MySQL u Oracle en el sistema de
archivos distribuidos Hadoop (HDFS), transformar los datos de Hadoop con
MapReduce o Apache Hive y, a continuación, exportar los datos en un RDBMS.
4. ¿Cuál es la sintaxis básica de Sqoop?
Importar datos a Hadoop desde una base de datos relacional:
sqoop import \
--connect jdbc:mysql://<nombre_servidor_bd>:<puerto>/<nombre_bd> \
--username <usuario_bd> \
--password <contraseña_bd> \
--table <nombre_tabla> \
--target-dir <directorio_destino_en_hadoop>
Exportar datos desde Hadoop a una base de datos relacional:
sqoop export \
--connect jdbc:mysql://<nombre_servidor_bd>:<puerto>/<nombre_bd> \
--username <usuario_bd> \
--password <contraseña_bd> \
--table <nombre_tabla> \
--export-dir <directorio_origen_en_hadoop>
5. ¿Qué es Apache Hive?
Es una infraestructura de almacenamiento de datos construida sobre Hadoop para
proporcionar agrupación, consulta, y análisis de datos.
6. ¿Cómo funciona Apache Hive?
Apache Hive funciona de la siguiente manera:
HiveQL: Los usuarios consultan datos usando un lenguaje similar a SQL llamado
HiveQL.
Metastore: Almacena metadatos sobre la estructura y ubicación de los datos.
Transformación de consultas: Hive traduce consultas a planes de ejecución,
ejecutándolos en entornos distribuidos como Hadoop o Apache Tez.
Almacenamiento: Los datos se organizan en tablas y se almacenan en sistemas
distribuidos como HDFS en diversos formatos.
Optimizaciones: Hive ofrece optimizaciones como particiones e indexación para
mejorar el rendimiento de las consultas.
Integración: Se integra con herramientas del ecosistema Hadoop para un análisis
de big data completo.
7. ¿Qué tipos de formato de almacenamiento se pueden ocupar dentro de
Hive?
Hive admite varios formatos de almacenamiento, como TextFile, SequenceFile, y
otros formatos personalizados mediante complementos.
8. ¿Qué aplicaciones se pueden usar para interactuar con Hive?
Hive CLI, Beeline, Hue, y herramientas de terceros como Apache Zeppelin.
9. Beneficios de usar Apache Hive
Los beneficios de usar Apache Hive incluyen su lenguaje SQL similar a SQL
estándar, la capacidad de procesar grandes conjuntos de datos y la integración con
Hadoop.
10. Principales características de Apache Hive
Las principales características de Apache Hive incluyen consultas SQL,
optimización de consultas, particionamiento y capacidad de almacenar datos en
tablas.
11. Mención algunos Casos de uso para Apache Hive
Son el análisis de datos, la generación de informes y el procesamiento de datos
estructurados.
12. ¿Qué es Pig en Big Data?
Es una plataforma de alto nivel que facilita el procesamiento y análisis de datos en
entornos Hadoop.
13. ¿Cuál es la función del componente Pig en Hadoop?
Se utiliza para escribir scripts llamados Pig Latin, que se traducen en operaciones
MapReduce para el procesamiento de datos.
14. Principales características de Pig
Las principales características de Pig incluyen su facilidad de uso, extensibilidad y
capacidad para procesar datos semi-estructurados.
15. Mención algunos Casos de uso para Pig
Incluyen la limpieza y transformación de datos, la carga de datos y el procesamiento
de datos en bruto.
16. ¿Que es HUE para Hadoop?
Es una interfaz web para interactuar con diversas herramientas de Hadoop,
incluyendo Hive, Pig, Impala y más.
17. Principales características de HUE
Las principales características de HUE incluyen su interfaz de usuario intuitiva,
soporte para varias aplicaciones Hadoop y capacidades de programación.
18. ¿Como funciona HUE?
Funciona como una interfaz web que se comunica con los servicios de Hadoop a
través de sus APIs, permitiendo a los usuarios ejecutar consultas y tareas de
procesamiento de datos de manera fácil.
