0% encontró este documento útil (0 votos)
18 vistas59 páginas

UCM genAI

La charla presentada por el Dr. Cristian Martínez ofrece una introducción a la IA generativa y los Modelos de Difusión, explicando conceptos fundamentales como Machine Learning, Redes Neuronales y Deep Learning. Se destacan aplicaciones concretas de la IA generativa, incluyendo ChatGPT y DALL-E, así como el funcionamiento de los modelos generativos y sus tipos, como Transformers y GANs. La presentación concluye enfatizando la importancia de las ANNs en la IA generativa y su capacidad para crear contenido nuevo.

Cargado por

Cristian
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd
0% encontró este documento útil (0 votos)
18 vistas59 páginas

UCM genAI

La charla presentada por el Dr. Cristian Martínez ofrece una introducción a la IA generativa y los Modelos de Difusión, explicando conceptos fundamentales como Machine Learning, Redes Neuronales y Deep Learning. Se destacan aplicaciones concretas de la IA generativa, incluyendo ChatGPT y DALL-E, así como el funcionamiento de los modelos generativos y sus tipos, como Transformers y GANs. La presentación concluye enfatizando la importancia de las ANNs en la IA generativa y su capacidad para crear contenido nuevo.

Cargado por

Cristian
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd

Introducción

IA
IA Generativa y Modelos de Difusión
Conclusiones

IA Generativa: Una introducción a ChatGPT,


DALL-E y los Modelos de Difusión

Dr. Cristian Martínez1


1 Profesor Asociado

DI-UNSa (Argentina)

Escuela 2024 de Modelización Matemática del Maule

1 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

Agenda
1 Introducción
2 IA
Conceptos Previos
Machine Learning
Redes Neuronales
Deep Learning
Redes Convolucionales
3 IA Generativa y Modelos de Difusión
IA Generativa
Modelos de Difusión
DiffUsers
4 Conclusiones

2 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

Motivación

La charla es una introducción a la IA generativa y los Modelos


de Difusión desde conceptos sencillos.
Además, se presentarán posibilidades concretas de aplicación
de IA generativa.

3 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

ChatGPT

Creado por OpenAI, ChatGPT es un chatbot con funciones


como responder preguntas, escribir textos, traducir un texto en
otro idioma, crear resúmenes y más!
A diferencia de un chatbot normal, ChatGPT puede responder
directamente a una consulta, adaptarse en la charla, variar
sus respuestas e incluso recordar algo que dijimos.

4 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

5 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

6 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

En la Web, está disponible la versión 3.5.


Este modelo se entrenó con bases de datos de texto de
Internet, totalizando más de 570GB de datos, dando un total de
más de 300M de palabras distintas.

7 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

Dall-E
También creado por OpenAI, es un sistema de Inteligencia
Artificial generativa que crea imágenes a partir de texto.

Imágenes generadas por Dall-E


8 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

Modelos de Difusión

Son una clase de modelos generativos que se pueden aplicar a


diferentes tareas como eliminación de ruido en imágenes,
super-resolución y generación de imágenes.

DALL-E de OpenAI es un Modelo de Difusión.

9 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

En esta charla cubriremos varios conceptos previos para


luego meternos en los Modelos de Difusión, que van más allá
de la generación de imágenes.

10 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

En 1956 John McCarthy propuso el término Inteligencia


Artificial en una conferencia en Dartmouth. Fue en ese evento
que se comenzó a discutir COMO las máquinas pueden
adquirir inteligencia.

John McCarthy
11 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Areas de investigación de la IA

Las áreas más conocidas son:


Aprendizaje de Máquinas: son un conjunto de algoritmos
que pueden aprender a identificar patrones y tomar
decisiones para resolver tareas usando datos relacionados
a esa tarea.
Robótica: es la ciencia relacionada al diseño, manufactura
y operación de máquinas. Su objetivo es crear máquinas
que puedan replicar, sustituir o asistir a humanos.

Sigue . . .

12 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Areas de investigación de la IA (continuación)

Reconocimiento de Patrones: es el proceso de análisis de


datos para asignar etiquetas a datos de entrada basados
en características o regularidades encontradas. Identifican
patrones automáticamente sin intervención humana.
Sistemas Expertos: son programas informáticos que
proveen soluciones a problemas especificos los cuales
requieren conocimientos y habilidades.
Sistemas de Soporte para la Decisión: son sistemas de
información que brindan apoyo a profesionales y
organizaciones en la toma de decision.

13 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Es un sub-campo de la IA que consiste en interpretar, procesar


y analizar datos para resolver problemas del mundo real.

Importante
ML puede ser descriptiva donde los datos se usan para
explicar lo que pasó, predictivo donde los datos se usan para
predecir lo que pasará o prescriptivo donde los datos se usan
para sugerir acciones a llevar adelante.

14 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Ciclo de ML
Una solución basada en ML se desarrolla obteniendo datasets
relacionados con el problema de estudio, seleccionando un
modelo adecuado y entrenándolo para cumplir con la tarea
encomendada.
15 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Areas de ML
Se pueden clasificar en:
Aprendizaje Supervisado: el algoritmo es entrenado con
un subconjunto de datos con características (features) y
etiquetas. Durante el entrenamiento, aprende a predecir la
etiqueta respectiva. Luego, puede usarse para un nuevo
subconjunto de datos para los cuales no se conocen sus
etiquetas. Ejemplos: SVM, MLR y ANN.
Aprendizaje No Supervisado: por el contrario, en este
caso, el algoritmo es entrenado usando datos de entradas
sin etiquetas e intenta descubrir patrones ocultos,
estructuras o tendencias sin intervención humana.
Ejemplos: KMeans, PCA y SOM.

Sigue . . .
16 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Areas de ML (continuación)

Aprendizaje Semi-Supervisado: combina aprendizaje


supervisado y no supervisado. Se aplica cuando se
dispone de una gran cantidad de datos sin etiquetar.
Ejemplos: S3VM, ladder networks y self-training.
Aprendizaje por Refuerzo: se usa para tratar problemas
secuenciales de decisión bajo incertidumbre. En RL, no
hay dataset de entrenamiento previo. Ejemplos:
Montecarlo y Q-Learning.

17 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Las Redes Neuronales (Artificial Neural Networks o ANNs) son


una familia de métodos para predicción y agrupamiento,
inspirados en el cerebro humano para reconocer patrones en
los datos.

18 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Una estructura simple de ANN

Una ANN se forma de neuronas, conexiones y pesos. Una


típica ANN consiste de una capa de entrada, una o pocas
capas ocultas y una capa de salida.
19 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Cómo funcionan?

Para que una ANN sea usada, primero debe ser entrenada. Se
usa un subconjunto de datos de entrenamiento, incluyendo las
características de entrada a la ANN y la salida esperada
(etiqueta).
Inicialmente se asignan números aleatorios a todos los pesos.
Luego, son actualizados de manera de minimizar el error entre
salida esperada y salida de la ANN. Este proceso se repite
hasta que la función de error no muestre cambios u otra
condición de parada definida se cumpla.
Sigue . . .

20 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Cómo funcionan? (continuación)


Para determinar el nivel de performance, se evalúa usando un
subconjunto de datos independiente llamado de prueba. Luego
de alcanzar un nivel aceptable, está lista para su uso.

Testing de una ANN


21 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

El Deep Learning es parte de Machine Learning. Se trata de


algoritmos automáticos que imitan la percepción humana
inspirada en nuestro cerebro. Se acercan a la forma en que
aprendemos los humanos.
Reconocimiento facial, asistentes de voz, traducción
automática, vehículos autónomos son aplicaciones de Deep
Learning.

22 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Detección de objetos
23 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Deep Learning se basa en las ANNs.


En una ANN simple, todos los nodos están fully connected y
suele haber una única capa oculta.
Por el contrario, los Sistemas de DL tienen varias capas
ocultas que los hacen profundos y se entrenan con grandes
cantidades de datos.
Hay 2 tipos principales de Sistemas de DL: CNN y RNN.

24 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Las Redes Convolucionales (Convolutional Neural Networks o


CNN) se distinguen de otras por su buen desempeño para
datos de entrada de tipo imagen, audio o video.

CNN
25 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Capas de una CNN


Tiene 3 tipos:
Convolucional: es el pilar de la CNN. Las primeras capas se
enfocan en características simples como colores y bordes. A
medida que se avanza a través de las capas, se comienza a
reconocer elementos o formas más grandes.
Agrupamiento: también conocidas como reducción de muestreo,
reducen dimensionalidad y por tanto el número de parámetros
del modelo. Existen 2 tipos principales de agrupación:
Máxima: elige el valor máximo para enviar a la salida. Es la
más usada.
Promedio: calcular el promedio para enviar a la salida.
Totalmente conectada (fully connected): realiza la tarea de
clasificación basada en características extraídas de capas
anteriores y sus filtros.
26 / 59
Conceptos Previos
Introducción
Machine Learning
IA
Redes Neuronales
IA Generativa y Modelos de Difusión
Deep Learning
Conclusiones
Redes Convolucionales

Así como Deep Learning + CNN son una combinación potente


para problemas como los mencionados anteriormente
(reconocimiento facial, asistente de voz, . . . ) también existen
aplicaciones exitosas en Salud, Biología, Agricultura, Vigilancia
entre otros.

27 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

La IA generativa son modelos de Inteligencia Artificial con


capacidad para crear nuevos contenidos como imágenes,
texto, audio y videos.
Importante
Con IA generativa, la "máquina"genera información nueva en
lugar de dedicarse a reconocer, analizar o clasificar contenido
existente.

28 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Deepfake
29 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Cómo funcionan?

En los principales modelos de IA generativos, el workflow es el


siguiente:
Recopilación de datos: debe recopilarse un gran volumen
de datos con ejemplos del tipo de contenido a generar (un
dataset de imágenes para generar nuevas, . . . )
Desarrollo de modelos: mediante ANNs.
Generación de contenido: entrenado el modelo, puede
comenzar a generar nuevo contenido.
Mejora de contenido: según la tarea a realizar, puede ser
refinado para mejorar su calidad.

30 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Importante
Deep Learning se basa en las ANNs. La IA generativa se basa
en Deep Learning → las ANNs siguen muy presentes!

31 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Tipos de IA generativa
Los modelos de IA generativa se clasfican principalmente en:
Transformer (Transformadores): es una ANN que aprende
contexto y de esta manera, significado mediante
seguimiento de relaciones en datos secuenciales. GPT-3 y
GPT-4 son ejemplos de modelos basados en Transformers.
GAN (Redes adversarias generativas): consisten de un
generador y un discriminador. La primera genera datos
mientras que la segunda se encarga de detectar datos
falsos.
VAE (Autocodificador variacional): codifican los datos de
entrada (representación comprimida) en un espacio
latente y luego decodifican la representación para generar
nuevos datos. Agregando aleatoriedad en la codificación
se generan instancias similares (y diversas!).
32 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Transformer

Transformer
33 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

GAN

GAN

34 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

VAE

VAE

35 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Ahora si estamos en la recta final!! Dall-E y los Modelos de


Difusión no se pueden tratar sin antes ver . . . :
AI generativa
DL
ANN
ML
AI
...

36 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Qué son?

Los modelos GAN y VAE generan contenido en un solo paso.


Los Modelos de Difusión crean nuevo contenido agregando
cambios aleatorios controlados de manera iterativa, sobre una
muestra de datos inicial.

37 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Modelo de Difusión

38 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Cómo funcionan?

Estos tipos de Modelos se entrenan a través de 2 procesos:


hacia adelante y reverso.
El primero tb conocido como forward noising process tiene por
objetivo generar datos o muestras de entrenamiento. Para ello,
a partir de una imagen inicial, se agrega ruido en forma
iterativa.
Sigue . . .

39 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Cómo funcionan? (continuación)

El segundo proceso conocido como reverse diffusion process


tiene por objetivo generar la imagen objetivo gradualmente a
partir del ruido. Para esto, se entrena una ANN que aprende a
generar la imagen objetivo a partir de los datos de
entrenamiento generados en el primer proceso.

40 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Dall-E

Existen varias herramientas de IA generativa de texto a


imagen. Entre ellas tenemos Dall-E, Stable Difussion y
Midjourney.
Creada por OpenAI, Dall-E crea imágenes a partir de
descripciones textuales.

41 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Dall-E 2. Imagen de Open AI

42 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Dall-E se creó con el modelo GPT en 2021. En noviembre de


2022, basado en el modelo GPT-3 y con más de 10.000M de
parámetros, surge Dall-E 2.

Dall-E 2
43 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

La arquitectura de Dall-E 2 tiene 2 partes: la primera que


convierte la entrada del usuario (prompt) en la representación
de una imagen (conocida como Prior) y la segunda que
convierte esa representación en la imagen objetivo (Decoder)
Básicamente Dall-E 2 entrena 2 modelos: Prior que recibe
etiquetas de texto y crea incrustaciones de imágenes y
Decoder que toma incrustaciones de imagenes y produce una
imagen aprendida.

44 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Diffusers es una librería Python basada en Modelos de


Difusión para generar imágenes, audio y más!

Imagen de Hugginface

45 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Con unas cuantas líneas de código podemos generar:


Imágenes a partir de texto y texto a partir de imágenes
Nuevas imágenes a partir de imágenes de entrada
Resúmenes a partir de una entrada de texto
Traducción automática
Audio a partir de texto
Video a partir de texto

46 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

DiffUsers: Ejemplos
!pip install diffusers[torch]
!pip install transformers
from diffusers import StableDiffusionPipeline
import torch
from [Link] import drive
[Link](’/content/drive/’, force_remount = True)
import sys
[Link](’/content/drive/My Drive/Colab Notebooks/’)
PATH = ’/content/drive/My Drive/Colab Notebooks/Taller_ModelosDifusion/resultados/’
filename= ’[Link]’ nombre del archivo de salida
DEVICE = ’cuda’ if [Link].is_available() else ’cpu’
MODEL_ID = ’stabilityai/stable-diffusion-2-1’
pipeline = StableDiffusionPipeline.from_pretrained(MODEL_ID,
torch_dtype=torch.float32).to(DEVICE)
input_text = ’portrait of Bono as cowboy on a horse, 30 years old, good looking, picture
for the joshua tree album cover,’
result = pipeline(input_text, num_inference_steps=50, guidance_scale=7).images[0]
[Link](PATH + filename)

47 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

DiffUsers: Resultado de imagen a partir de texto

48 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Diffusers: variaciones de una imagen

49 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Diffusers: Texto a partir de imagen


Texto entrada (Wikipedia): Cobra Kai is an American martial arts comedy-drama television series and a sequel to the
original The Karate Kid films created by Robert Mark Kamen. The series was created by Josh Heald, Jon Hurwitz,
and Hayden Schlossberg, and is distributed by Sony Pictures Television. The series was released on YouTube Red /
YouTube Premium for the first two seasons, before moving to Netflix starting with the third. The series stars Ralph
Macchio and William Zabka, who reprise their roles as Daniel LaRusso and Johnny Lawrence, respectively, from the
1984 film The Karate Kid and its sequels, The Karate Kid Part II (1986) and The Karate Kid Part III (1989).
The first and second seasons launched on YouTube Red/Premium in May 2018 and April 2019. Netflix acquired the
series in June 2020 after YouTube decided to stop producing scripted original programming. The third, fourth and
fifth seasons were released in January 2021, December 2021, and September 2022, respectively. Production for
Season 6 (which stopped during the period of the 2023 Writers Guild of America strike and 2023 SAG-AFTRA
strike) resumed after January 1, 2024. On January 18, 2024, Cobra Kai season 6 filming got underway.
Cobra Kai re-examines the "Miyagi-verse"narrative from Johnny’s point of view, beginning with his decision to
reopen the Cobra Kai karate dojo, and the rekindling of his old rivalry with Daniel. The series also stars Courtney
Henggeler, Xolo Mariduena, Tanner Buchanan, Mary Mouser, Jacob Bertrand, Gianni DeCenzo, Peyton List,
Vanessa Rubio and Dallas Dupree Young, with Martin Kove and Thomas Ian Griffith also reprising their roles from
the films. The series takes place between 2017 and 2019.
Cobra Kai has attained high viewership on both YouTube and Netflix, and has received critical acclaim for its writing,
performances, action sequences, humor, character development, and faithfulness to the previous films. It has
received numerous awards and nominations, with the third season being nominated for Outstanding Comedy Series
at the 73rd Primetime Emmy Awards.

Texto resultado: Cobra Kai is a sequel to the original The Karate Kid films created by
Robert Mark Kamen . The series was released on YouTube Red / YouTube Premium
for the first two seasons, before moving to Netflix starting with the third .

50 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Diffusers: texto a partir de imagen

a woman in a hat and dress posing for a picture


51 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

IA generativa en nuestro Proyecto

En el Proyecto IDeA I+D (ex-FONDEF) 2023 ID23i10242


Ïdentificación de personas a gran escala basada en la
biometría de Venas de la Palma de la Mano", a cargo del Dr.
Ricardo Barrientos, estamos abordando la identificación de
personas a partir del ADN.

52 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

2 Desafíos

El primero desafío es usar IA generativa para el desarrollo de


un modelo que a partir de texto, genera una imagen (como el
primer ejemplo).
El texto de donde saldría? De uno o varios modelos de ML
que analicen datos genéticos y devuelvan características
físicas de un individuo. Por ejemplo, del rostro.

53 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

2 Desafíos

El segundo es más sencillo. El análisis de ADN no es sobre


toda la secuencia sino sobre ciertos marcadores o SNPs. El
problema es que estos se obtienen de laboratorio y por
diferentes motivos, no están completos.
Desarrollaremos un modelo generativo para generar datos
sintéticos de manera de completar los SNPs ausentes y
disponer de datasets completos.

54 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

De Yapa: IA generativa aplicada al TSP


Existen diferentes alternativas pero una de las más potentes es
Pytorch_geometric.
Es una biblioteca de aprendizaje automático para redes
neuronales en grafos, sobre PyTorch. Es utilizada para tareas
relacionadas con grafos, como clasificación de nodos,
clasificación de grafos, y predicción de enlaces, entre otras.
Incluye:
Convolución de grafos
Convolución de grafos basada en agregación de vecinos
Convolución de grafos basada en integración de nodos
Incluye pooling para resumir características de nodos en
grafos
55 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

import torch
import [Link] as nn
import torch_geometric
from torch_geometric.nn import GCNConv
from torch_geometric.data import Data
import numpy as np
import [Link] as plt
import networkx as nx
class TSPNet([Link]): def __init__(self, in_channels, out_channels):
super(TSPNet, self).__init__()
self.conv1 = GCNConv(in_channels, 64)
self.conv2 = GCNConv(64, 64)
self.fc1 = [Link](64, 32)
self.fc2 = [Link](32, out_channels)
def forward(self, data):
x, edge_index = data.x, data.edge_index
x = self.conv1(x, edge_index)
x = [Link]()
x = self.conv2(x, edge_index)
x = [Link]()
x = torch_geometric.nn.global_mean_pool(x, [Link])
x = self.fc1(x)
x = [Link]()
x = self.fc2(x)
return x
...

56 / 59
Introducción
IA Generativa
IA
Modelos de Difusión
IA Generativa y Modelos de Difusión
DiffUsers
Conclusiones

Gráfico de TSP resuelto con pytorch_geometric

57 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

Sobre la Charla

Conclusiones:
La IA generativa puede crear nuevos contenidos como
conversaciones, textos, imágenes, música y video.
No es una simple moda. Cuando hacemos una búsqueda
en Google o Bing estamos usando Transformers; un bot
24/7 de atención al cliente o desarrollo/mantenimiento de
software son una realidad.
La IA generativa atraviesa todas las áreas del
conocimiento y las profesiones. Debemos buscar un uso
posible.

58 / 59
Introducción
IA
IA Generativa y Modelos de Difusión
Conclusiones

Muchas gracias!
Consultas → cmartinez@[Link]

59 / 59

También podría gustarte