Scribd
Cargar
14 vistas9 páginas

Optimización de Tareas con Dask y Ray

Cargado por

Juan Pedro Vásquez Vilchez
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd
14 vistas9 páginas

Optimización de Tareas con Dask y Ray

Cargado por

Juan Pedro Vásquez Vilchez
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd

Dask, Moon, Ray

Dividir tareas grandes y que se puedan ejecutar en paralelo. - tiempo


procesamiento

Dask, Moon, Ray 1


2. Aumentar numero de maquinas

3. Se distribuye el trabajo ne varios nodos

4. Desde maquinas locales hasta servicios en la nube

4. Redundancia:Duplicas datos

5. tomar en cuenta latencia entre la comunicacion

Dask, Moon, Ray 2


3. Paraleliza Pandas

3. Se puede paralelizar el pipeline. Que cada una de las partes se paralelize

Dask, Moon, Ray 3


4. Sharding

a. Map reduce es por mapeo y sharding es por indice

Dask

Dask, Moon, Ray 4


Imagenes se guardan como tensors

MAGENES SE FUARDAN COMO TENSORS

Dask, Moon, Ray 5


permite trabajar con datasets grandes en un cluster

Dask, Moon, Ray 6


para datasets pequenhos no es bueno

Dask, Moon, Ray 7


Son grafos aciclicos dirigidos
Una sola direccion y no hay loops

Dask, Moon, Ray 8


Dask, Moon, Ray 9

También podría gustarte