Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Programa de especialización:
Big Data and Analytics
Introducción a la programación
en Python
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Temas:
▪ Introducción a Python
▪ Porque Python
▪ Google Colab
▪ Ecosistema Python
▪ Fundamentos
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
El objetivo del modulo es: Revisar los fundamentos para adquirir habilidades
básicas sobre cada paso en el proceso de ciencia de datos.
- Disputa de datos: Obtener, limpiar, transformar los datos
- Exploración y análisis de datos: Que el conjunto de datos tenga sentido,
lograr una descripción completado de los datos.
Al término de esta sesión, Ud. podrá:Tener una visión general del ecosistema
de Python para el análisis de datos.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
¿Porque Python?
Para implementar proyectos de IA, se
debe usar un lenguaje de programación
que sea estable, flexible y tenga
herramientas disponibles. Desde el
desarrollo hasta la implementación y el
mantenimiento, Python ayuda a los
desarrolladores a ser productivos y
seguros sobre el software que están
creando.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
¿Porque Python?
Los beneficios que hacen que Python sea
la mejor opción para el aprendizaje
automático y los proyectos basados en
IA incluyen simplicidad y consistencia,
acceso a excelentes bibliotecas y marcos
para IA y aprendizaje automático
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Herramientas más utilizadas en DS y ML
https://www.kdnuggets.com/2019/05/poll-top-data-science-machine-learning-platforms.html
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Instalación: Jupyter notebook
Vamos a instalar la " Anaconda Distribution" con la última versión de Python. La instalación de Anaconda incluirá
todos los mejores paquetes, un excelente editor de código llamado Spyder y otras herramientas para agregar y
actualizar paquetes fácilmente.
https://www.anaconda.com/products/individual
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Google Colaboraty
Google Colab, también conocido como Collaboratory, es un entorno gratuito basado en Jupyter notebook que se
ejecuta en los servidores de la nube de Google.
No requiere instalación ni configuración de Python. Se tiene acceso gratuito a hardware CPU, GPU y TPU. Se puede
compartir el código de manera similar que con Google Drive.
https://www.anaconda.com/products/individual
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Google Colaboraty
Ventajas:
✓ Posibilidad de activar una GPU
✓ Podemos compartir el código fácilmente
✓ Está basado en jupyter notebook y nos resultará un entorno ya conocido
✓ Podemos crear libros en Python 2 ó en 3
✓ Tiene preinstaladas las librerías comunes usadas en data science y la posibilidad de instalar otras necesarias
✓ Al enlazar con nuestra cuenta de Google Drive, podemos leer desde ahí archivos .csv de entrada ó guardar
imágenes de salida, etc.
https://colab.research.google.com/
https://www.anaconda.com/products/individual
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Ecosistema de Python
https://devopedia.org/python-for-scientific-computing
https://www.anaconda.com/products/individual
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Librerias de Python
Algunos toolboxes/librerías populares:
• NumPy
• SciPy
• Pandas
• SciKit-Learn
Bibliotecas de visualización
• Matplotlib
• Seaborn
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Librerias de Python: NumPy
▪ Creado por Travis Oliphant con propósitos científicos.
▪ introduce objetos para arreglos y matrices multidimensionales, así como funciones que permiten realizar
fácilmente operaciones matemáticas y estadísticas avanzadas en esos objetos
▪ proporciona vectorización de operaciones matemáticas en arreglos y matrices, lo que mejora significativamente
el rendimiento
▪ muchas otras bibliotecas de python se basan en NumPy
▪ Para la creación de un Array en Python
▪ Necesitamos importar la librería: import numpy as np
https://numpy.org/
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Librerias de Python: Scipy
▪ colección de algoritmos para álgebra lineal, ecuaciones diferenciales, integración numérica, optimización,
estadísticas y más
▪ Es el paquete principal de rutinas científicas en Python está destinado a funcionar de manera eficiente en
matrices numpy
▪ Construido en NumPy
https://scipy.org/
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Librerias de Python: Pandas
▪ agrega estructuras de datos y herramientas diseñadas para trabajar con marcos de datos para procesar
información y unirlas de diferentes fuentes (Data Frame de R)
▪ proporciona herramientas para la manipulación de datos: remodelación, fusión, clasificación, división,
agregación, etc.
▪ permite manejar datos faltantes
https://pandas.pydata.org/
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Librerias de Python: SciKit-Learn
▪ proporciona algoritmos de aprendizaje automático: clasificación, regresión, agrupación, validación de modelos,
etc.
▪ Construido en NumPy, SciPy y matplotlib
https://scikit-learn.org/stable/
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Librerias de Python: mapplotlib
▪ Es una librería de Python que permite realizar gráficas 2D de excelente calidad
▪ Tiene un conjunto de funcionalidades similares a las de MATLAB
▪ gráficos de líneas, gráficos de dispersión, gráficos de barras, histogramas, gráficos circulares, etc.
▪ Podemos exportar gráficos en los formatos de imágenes mas populares e incluso a formato Latex para su
inclusión en artículos científicos
▪ Su creador John Hunter lo definió: “matplotlib trata de hacer las cosas fáciles y las cosas difíciles posibles”
https://matplotlib.org/stable/index.html
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Librerias de Python: Seaborn
▪ basado en matplotlib
▪ proporciona una interfaz de alto nivel para dibujar atractivos gráficos estadísticos
▪ Similar (en estilo) a la popular biblioteca ggplot2 en R
https://seaborn.pydata.org/
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Google Colaboraty
Google Colab, también conocido como Collaboratory, es un entorno gratuito basado en Jupyter notebook que se
ejecuta en los servidores de la nube de Google.
No requiere instalación ni configuración de Python. Se tiene acceso gratuito a hardware CPU, GPU y TPU. Se puede
compartir el código de manera similar que con Google Drive.
Link: https://colab.research.google.com/
https://www.anaconda.com/products/individual
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Es la forma del lenguaje y
Sintaxis describe las posibles
combinaciones de símbolos que
son correctos
Lenguaje
Tiene que ver con el estudio
riguroso desde un punto de vista
Semántica
matemático del significado de
los lenguajes de programación
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Definición inicial
Emisor Receptor
Lenguaje
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Clasificación según niveles
Primera generación Lenguaje de •Orientado al
microprocesador
maquina (Sistema Binario)
• Ensamblador( Usa
Segunda generación Lenguaje de código nemónico y
también esta
bajo nivel orientado a un
microprocesador
• Orientado para
Lenguaje de que nosotros
entendamos y
Tercera generación alto nivel logremos escribir
los programas
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Tipos de Datos básicos
▪ Número Entero (int)
Este tipo de dato se corresponde con números enteros, es decir, sin parte decimal.
▪ Número Decimal (float)
Este tipo de dato se corresponde con números reales con parte decimal. Cabe destacar que
el separador decimal en Python es el punto (.) y no la coma (,).
▪ Caracter (chr)
Este tipo de dato se corresponde con un símbolo tipográfico, es decir, una letra, número,
coma, espacio, signo de puntuación, etc.
▪ Cadena de Texto (str)
Este tipo de datos se corresponde con una cadena de caracteres.
▪ Booleano (bool)
representa valores booleanos o de lógica binaria: Verdadero (True) o Falso (False)
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Tipos de Datos básicos
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Operadores aritméticos: La combinación de valores, variables , operadores y llamadas a funciones se denomina
expresión. El intérprete de Python puede evaluar una expresión válida.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Estructura de datos
Las estructuras no
primitivas están destinadas
a organizar y manejar
conjuntos de datos
primitivos.
En lugar de almacenar un
solo valor, las estructuras
de datos no primitivas
almacenan una colección
de valores en varios
formatos.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Fundamentos: Lenguajes de programación
Métodos de lista
Python tiene muchos
Métodos Descripción métodos de lista útiles que
hacen que sea muy fácil
append() añade un elemento al final de la lista trabajar con listas. Estos
son algunos de los métodos
extend() agrega todos los elementos de una lista a otra lista de lista más utilizados.
insert() inserta un elemento en el índice definido
remove() elimina un elemento de la lista
pop() devuelve y elimina un elemento en el índice dado
clear() elimina todos los elementos de la lista
index() devuelve el índice del primer elemento coincidente
count() devuelve el recuento del número de elementos
pasados como argumento
sort() ordenar elementos en una lista en orden ascendente
reverse() invertir el orden de los elementos de la lista
copy() devuelve una copia superficial de la lista
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Programa de especialización:
Big Data and Analytics
Introducción a la programación
en Python
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: CRISP - DM
Comprensión Comprensión
del Negocio de la Data
Preparación de
la Data
Despliegue
Data Modelamiento
Evaluación
Aplicaciones: Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Tipología de análisis
Categórico - Totales y Porcentajes
- Gráficos: Barra y Pie
Univariado
- Min, Max, Media, Mediana, Moda
- Rangos Intercuartilicos, Varianza,
Desviación Estándar, Coeficiente de
Numérico Variación
- Kurtosis y Asimetria
Para Explicar el - Gráficos: Histograma y Cajas (Boxplot)
Pasado
- Chi Cuadrado
Categórico Vs
Categórico - Gráficos: Barras y de dos Ejes
Numérico Vs - Correlación
Bivariado
Numérico - Scatter Plot (Dispersión)
Categórico Vs - Z Test, T Test, ANOVA
Numérico - Gráficos: Barras y Líneas
Aplicaciones: Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Tipología de análisis
Arboles de
Decisión
Clasificación
Regresión
Logística
SVM
Redes
Neuronales
Para Predecir el Naive Baues
Futuro
Segmentación
Aglomerativa
Divisiva
Estimación
K-means
Regresión
Reglas de Múltiple
Asociación
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Tipo de variables
Tipos de variables:
Numéricas:
Nominales: Ordinales:
Sueldo, Edad, Línea de
Sexo, Distrito de Residencia, NSE, Grado de Instrucción,
Crédito, Número de segundos
Estado Civil. Tipo de Tarjeta de crédito.
de llamadas por móvil.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Aplicaciones: Metodología
Dentro de un proyecto de Data Mining podemos diferenciar las siguientes fases:
Comprensión Comprensión Preparación
Modelado Evaluación Implementar
del Negocio de los Datos de los Datos
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Conocimiento del negocio:
Determinación
Determinar los
Evaluar la de los Objetivos Elaborar el Plan
Objetivos del
situación de Minería de del Proyecto
Negocio
Datos
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Comprensión de los datos:
Disponibilidad
Describir los Explorar los Calidad de los
Recolectar Datos Datos Datos Datos
Iniciales
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Preparación de los datos:
Data •Obtener datos
de diferentes
Collecting fuentes
Data •Resuelve conflictos entre
datos.
Cleaning •Elimina Outliers
•Transformación y
Data consolidación de los
Transformation datos
Data •Selección de
características
Reduction
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Tipos de variables:
Numéricas:
Nominales: Ordinales:
Sueldo, Edad, Línea de
Sexo, Distrito de Residencia, NSE, Grado de Instrucción,
Crédito, Número de segundos
Estado Civil. Tipo de Tarjeta de crédito.
de llamadas por móvil.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Identificar Outliers :
• Revisar los
Rangos: rangos de
Cada variable
• Realizar el
Clustering: ejercicio con
pocos grupos.
• Variables
nominales con
Categorías. menos de 1%
de frecuencia.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Visualización de variables:
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Modelamiento:
Técnica Modelo
Modelo 1 1
Modelo
Escoger la Técnica
Training de Modelado Conjunto Score
Data (Ponderado) Data
Modelo
Técnica 2
Modelo 2
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Metodología: Fases del Data Mining
Evaluación del modelo:
Determinar
Evaluar los
los Próximos
Resultados
pasos
Revisar el Proceso
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Implementación/Despliegue:
Implementación/Despliegue:
Proceso de implementación de modelos
Planificar Implementar Producción Post Producción
- Reportes de m onitoreo
Gestión de
- Definición alcance - Generar lógica de - Conformidad de
variables entregables - Dar de baja al
modelos
Control / Monitoreo
- Línea base del proyecto
- Mejora de procesos - Criterios de Evaluación m odelo analíticos
- WBS
- Validar inform ación
◼ Solicitar ◼ Dimensionamiento. ◼ Medir y validar el ◼ Administrar el
documentación. ◼ Pruebas en desempeño del ciclo de vida de
◼ Gestión de desarrollo modelo. los modelos
riesgos. analíticos.
◼ bitácora de errores ◼ Schedule de
y lecciones modelo ◼ Cuando un
aprendidas. modelo debe ser
◼ Documentar reemplazado.
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Que afecta el desempeño del modelo
• Cambios en el mercado: Cambian los
valores característicos rápidamente.
Estos cambios afectan a todas las fuente
de datos.
• Criterio de selección diferente: Se toma
información de un estudio pasado, los
reglas anteriores no guardan relación
con los objetivos del nuevo modelo.
• variación en la creación de datos: Este
es un problema sólo cuando tomamos
en la implementación, los datos de una
fuente diferente a la del desarrollo del
modelo.
Proceso de seguimiento Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Proceso de seguimiento de modelos
Extracción de los
Fuentes Post Producción Gestión de modelos
datos
Control de Calidad de los Gestión de
calidad de datos modelos indicadores
12,000
10,000
Mo n itoreo de las variables
DWH 8,000
Var1 Var2 Var3 Var4 ◼ Administrar el ciclo de
6,000
vida de los modelos
Var1
analíticos.
4,000
2,000
DM1 -
◼ Cuando un modelo
Var2 debe ser reemplazado.
DM2
Var3
DM3 Var4
Beneficios
Estabilidad poblacional Tablero Indicadores
Indicadores
Resp1-2 Responsable 1 Responsable 1 Responsable 1
Centro de Tecnologías de Información y Comunicaciones
Universidad Nacional de Ingeniería
Técnicas Estadísticas
Busca describir las relaciones entre varias variables (respuestas y descriptores) que permiten analizar un
Ecuaciones estructurales fenómeno de interés, teniendo en cuenta la estructura de covarianzas existente entre ellas.
Es una técnica utilizada para reducir la dimensionalidad de un conjunto de datos. Se emplea sobre todo en
Componentes principales análisis exploratorio de datos y para construir modelos predictivos.
Es una técnica estadística de reducción de datos usada para explicar la variabilidad entre las variables
Análisis factorial observadas en términos de un número menor de variables no observadas llamadas factores.
Algoritmo de agrupamiento / Clusters Es un procedimiento de agrupación de una serie de objetos de acuerdo con un criterio de cercanía.
Su objetivo es analizar si existen diferencias significativas entre grupos de objetos respecto a un conjunto de
Análisis discriminante variables medidas sobre los mismos. La naturaleza de las variables debe ser para el caso de la dependiente
categórica y para la(s) independiente(s) cuantitativa.
Su objetivo es buscar las relaciones que pueda haber entre dos grupos de variables y la validez de las mismas.
Correlación canoníca Predice múltiples variables dependientes a partir de múltiples independientes.
El Análisis de Correspondencias es una técnica estadística que se utiliza para analizar, desde un punto de vista
Análisis de correspondencia gráfico, las relaciones de dependencia e independencia de un conjunto de variables categóricas a partir de los
datos de una tabla de contingencia.
El objeto de un análisis de regresión es investigar la relación estadística que existe entre una variable
Regresión múltiple dependiente (Y) y una o más variables independientes (X 1, X2, X3 , ... ).
Es un modelo de regresión para variables dependientes o de respuesta binomialmente distribuidas. Es útil
Regresión logística para modelar la probabilidad de un evento ocurriendo como función de otros factores.
Se llama Series de Tiempo a un conjunto de observaciones sobre valores que toma una variable (cuantitativa)
Series de Tiempo en diferentes momentos del tiempo. se utilizan para predecir lo que ocurrirá con una variable en el futuro a
partir del comportamiento de esa variable en el pasado.
