Underc0de - Big Data
¡Hello World!
Juan Sebastián Arbona
- Ingeniero en Sistemas de Información
Universidad Tecnológica Nacional
- Máster en Data Management e Innovación Tecnológica
Universidad de Barcelona
- Docente de Ingeniería de Software II
Licenciatura en Ciencias de la Computación - UNCUYO
- Founder & Director de Tecnología en Quinto Impacto
- Founder & Chief Software Architect en EpiLiquid
Underc0de - Big Data
El minuto de Internet
Underc0de - Big Data
Crecimiento de la Información
● Tecnologías de Información
● Dispositivos Móviles con Internet.
● Redes Sociales.
● Comercio Electrónico
● Internet de las Cosas
● Criptomonedas / Blockchain
Underc0de - Big Data
Tendencia
● Móviles + 63%
● Tablets + 87%
● Portátiles + 30%
● M2M +113%
Underc0de - Big Data
¿Que es el Big Data?
Big Data is Aliens
Underc0de - Big Data
Data
TresVVdel
Las delBig
BigData
Data
Volumen
Datos
Complejos
Ve
d
eda
lo
cid
ri
Va
a d
Underc0de - Big Data
¿Cuáles son las limitaciones?
Underc0de - Big Data
Data
1 - Crecimientodel
Escalamiento delHardware
Hardware
Underc0de - Big Data
Estructura de la Información
Schema on Write
Almacenamiento de
Datos Filtrados
Underc0de - Big Data
Infraestructura
Underc0de - Big Data
El desafío del Big Data
Underc0de - Big Data
Data
1 - Crecimientodel
Escalamiento delHardware
Hardware
Underc0de - Big Data
Estructura de la Información
Schema on Read
Almacenamiento de
Datos Crudos
Underc0de - Big Data
Infraestructura
Underc0de - Big Data
¿Qué es Big Data?
This is Big Data!
Underc0de - Big Data
Pioneros
Los buscadores fueron los primeros en encontrarse con
el problema del Big Data.
Google Research
• The Google File System (2003)
• Map Reduce: Simplified Data Processing on Large
Clusters (2004)
Underc0de - Big Data
Hadoop
• Fundación Apache
• Código Abierto
• HDFS + MapReduce
• Almacenamiento Distribuido
• Procesamiento Paralelo
• Hardware Barato
• Java
Underc0de - Big Data
Hadoop
Underc0de - Big Data
Hadoop Distributed File System
Underc0de - Big Data
Tolerancia a Fallos
Underc0de - Big Data
Tolerancia a Fallos
Underc0de - Big Data
HDFS + MapReduce
Underc0de - Big Data
Ejemplo
“ El Big Data es como el sexo en el
grupo de Underc0de todos hablan de
él y nadie sabe como realmente
hacerlo. ”
Juan Sebastián Arbona
Underc0de - Big Data
Ejemplo - Jugador Más Mediático
Underc0de - Big Data
Ejemplo - Jugador Más Mediático
Underc0de - Big Data
Ejemplo - Jugador Más Mediático
public class MapClass extends Mapper<LongWritable, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
@Override
protected void map(LongWritable key, Text value, Context context) throws Exception {
String line = value.toString();
StringTokenizer st = new StringTokenizer(line," ");
while(st.hasMoreTokens()){
String token = st.nextToken();
if(token.equals=”Messi” || token.equals(“Maradona”) || token.equals(“Cubero”)){
word.set(token));
context.write(word,one));
}
}
}
}
Underc0de - Big Data
Ejemplo - Jugador Más Mediático
public class ReduceClass extends Reducer{
@Override
protected void reduce(Text key, Iterable values, Context context) throws Exception{
int sum = 0;
Iterator valuesIt = values.iterator();
while(valuesIt.hasNext()){
sum = sum + valuesIt.next().get();
}
context.write(key, new IntWritable(sum));
}
}
Underc0de - Big Data
Ecosistema Hadoop
Underc0de - Big Data
Ecosistema Hadoop
Underc0de - Big Data
Ecosistema Hadoop
Underc0de - Big Data
Ejemplo Real - EpiLiquid
Underc0de - Big Data
¿Dudas o Preguntas?
Underc0de - Big Data
¡Muchas Gracias!
