Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Google File System (GFS)
El sistema de archivos distribuido de Google !!
Mario A. del Riego
Sistemas Operativos - InCo
Facultad de Ingeniera de la
Universidad de la Repblica
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Agenda
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Agenda
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Agenda
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Agenda
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Solo unas definiciones
Definition
Un Sistema Distribuido es una coleccin de computadoras
independientes que se muestran al usuario como un nico
sistema.
Definition
Un Sistema de Archivos Distribudio (DFS) es un servicio que
permite al usuario acceder y procesar archivos guardados en
un servidor como si fuese local.
Definition
Google File System (GFS) es el DFS que da soporte a todas
las aplicaciones de Google Inc.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Solo unas definiciones
Definition
Un Sistema Distribuido es una coleccin de computadoras
independientes que se muestran al usuario como un nico
sistema.
Definition
Un Sistema de Archivos Distribudio (DFS) es un servicio que
permite al usuario acceder y procesar archivos guardados en
un servidor como si fuese local.
Definition
Google File System (GFS) es el DFS que da soporte a todas
las aplicaciones de Google Inc.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Solo unas definiciones
Definition
Un Sistema Distribuido es una coleccin de computadoras
independientes que se muestran al usuario como un nico
sistema.
Definition
Un Sistema de Archivos Distribudio (DFS) es un servicio que
permite al usuario acceder y procesar archivos guardados en
un servidor como si fuese local.
Definition
Google File System (GFS) es el DFS que da soporte a todas
las aplicaciones de Google Inc.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Objetivo de un DS: Transparencia
Acceso: Ocultar representacin de la info y cmo es
accedido
Ubicacin: Ocultar donde se ubica el recurso
Migracin: Ocultar que el recurso puede moverse a otra
ubicacin
ReUbicacin: Ocultar que el recurso puede ser movido
mientras esta en uso
Replicacin: Ocultar que el recuso es replicado
Concurrencia: Ocultar que el recurso puede ser
compartido por varios usuarios
Falla: Ocultar las fallas y su recuperacin
Persistencia: Ocultar si un recurso esta en memoria o
disco
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Las aplicaciones actuales de Google
Google Mail (10GB)
Google Search / History
Google Video / Youtube
Google Maps
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
. . . porqu no centralizado?
La historia me avala!
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
. . . porqu no distribuido (NFS)?
...otra vez, la historia me avala!
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
. . . y porqu no empezamos por el principio?
Anlisis de requerimientos.. de las aplicaciones!
Muy pocos estudios cientficos al respecto
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
. . . y porqu no empezamos por el principio?
Anlisis de requerimientos.. de las aplicaciones!
Muy pocos estudios cientficos al respecto
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepcin
Errores en la aplicacin
Errores en el SO
Errores humanos (errar es humano... dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energa
Inundaciones...
Los archivos crecen muy rpido, llegando al orden de TB
(!)
La mayora de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Hiptesis
Es construdo en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Lecturas: Dos operaciones tpicas.
Lecturas largas y continuas (Por ej?)
Lecturas aleatorias y chicas (Por ej?)
Escrituras: append a los archivos (Por ej?)
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Interfase
Agrega dos operaciones importantes: snapshot y append
Snapshot: Una "foto"del sistema en un momento
determinado
No soporta POSIX (..pero muy parecido)
..hay que recompilar todo!
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Interfase
Agrega dos operaciones importantes: snapshot y append
Snapshot: Una "foto"del sistema en un momento
determinado
No soporta POSIX (..pero muy parecido)
..hay que recompilar todo!
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Interfase
Agrega dos operaciones importantes: snapshot y append
Snapshot: Una "foto"del sistema en un momento
determinado
No soporta POSIX (..pero muy parecido)
..hay que recompilar todo!
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Interfase
Agrega dos operaciones importantes: snapshot y append
Snapshot: Una "foto"del sistema en un momento
determinado
No soporta POSIX (..pero muy parecido)
..hay que recompilar todo!
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura (cont.)
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamao fijo
Cada pedazo se llama chunk
Cada chunk es identificado por un nmero nico de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo)
chunks
64MB
1chunk {Location1 , . . . , LocationN }
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseo y la implementacin
NO se enva datos a travs de l
Existe un shadow server. . .
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseo y la implementacin
NO se enva datos a travs de l
Existe un shadow server. . .
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseo y la implementacin
NO se enva datos a travs de l
Existe un shadow server. . .
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseo y la implementacin
NO se enva datos a travs de l
Existe un shadow server. . .
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseo y la implementacin
NO se enva datos a travs de l
Existe un shadow server. . .
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Cliente y Chunk Server
Cliente:
No utiliza cache para los datos. Solamente para los chunk
locations
Chunk Server:
Linux standard. En su tiempo kernel 2.2. . .
Todo implementado en User space
No implementa cache. Delegado al cache del kernel
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Cliente y Chunk Server
Cliente:
No utiliza cache para los datos. Solamente para los chunk
locations
Chunk Server:
Linux standard. En su tiempo kernel 2.2. . .
Todo implementado en User space
No implementa cache. Delegado al cache del kernel
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Cliente y Chunk Server
Cliente:
No utiliza cache para los datos. Solamente para los chunk
locations
Chunk Server:
Linux standard. En su tiempo kernel 2.2. . .
Todo implementado en User space
No implementa cache. Delegado al cache del kernel
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Cliente y Chunk Server
Cliente:
No utiliza cache para los datos. Solamente para los chunk
locations
Chunk Server:
Linux standard. En su tiempo kernel 2.2. . .
Todo implementado en User space
No implementa cache. Delegado al cache del kernel
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Cliente y Chunk Server
Cliente:
No utiliza cache para los datos. Solamente para los chunk
locations
Chunk Server:
Linux standard. En su tiempo kernel 2.2. . .
Todo implementado en User space
No implementa cache. Delegado al cache del kernel
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Cliente y Chunk Server
Cliente:
No utiliza cache para los datos. Solamente para los chunk
locations
Chunk Server:
Linux standard. En su tiempo kernel 2.2. . .
Todo implementado en User space
No implementa cache. Delegado al cache del kernel
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Snapshot
( VER PIZARRN)
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Ejemplo: Write
Mario A. del Riego
Google File System
Introduccin
Diseo alto nivel
Arquitectura
Ejemplos
Fin..g
Preguntas?
Mario A. del Riego
Google File System
