Scribd
Importer
27 vues8 pages

Sharding

Le sharding est un mécanisme de partitionnement horizontal des données, segmentant les fichiers en chunks distribués dans un cluster selon une stratégie spécifique. Trois techniques de sharding sont présentées : HDFS, qui se concentre sur l'allocation de ressources et la tolérance aux pannes ; l'index clusterisé, qui trie les données selon une clé ; et la DHT, qui utilise une table de hachage distribuée pour un routage efficace. Chaque technique a ses propres méthodes d'allocation et de distribution des chunks.

Transféré par

emed40941
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
27 vues8 pages

Sharding

Le sharding est un mécanisme de partitionnement horizontal des données, segmentant les fichiers en chunks distribués dans un cluster selon une stratégie spécifique. Trois techniques de sharding sont présentées : HDFS, qui se concentre sur l'allocation de ressources et la tolérance aux pannes ; l'index clusterisé, qui trie les données selon une clé ; et la DHT, qui utilise une table de hachage distribuée pour un routage efficace. Chaque technique a ses propres méthodes d'allocation et de distribution des chunks.

Transféré par

emed40941
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Sharding

24
Partitionnement des données
Le sharding
• Mécanisme de partitionnement horizontal (par tuple)

• Les fichiers sont segmentés en chunks (64 Mo, 256 Mo...)

• Les chunks sont distribués dans le cluster

• Les données sont placées selon une stratégie de sharding

• 3 types de techniques de sharding : 1. HDFS : Allocation de ressources basée (racks,datacenter)


2. Index clusterisé : Structure arborescente (ordre total)
3. DHT : Structure basée sur le hachage
25
SHARDING AVEC HDFS

Stratégie d'allocation des ressources


* Système de fichiers distribué
* Repose sur l'équilibrage de la charge des serveurs
* Dédié à la tolérance aux pannes
* Allocation et optimisation dynamiques de serveurs

26
SHARDING AVEC HDFS : EXEMPLE

27
SHARDING AVEC INDEX CLUSTERISÉ

Index clusterisé distribué


• Données triées selon une clé
* Clé primaire
* Créer des chunks (256 Mo par défaut)
* Distribuer les chunks
* Répliquer les chunks

28
SHARDING AVEC INDEX CLUSTERISÉ:
EXEMPLE

29
SHARDING AVEC DHT

Table de hachage distribuée (DHT)


• Anneau de serveurs virtuels

• Table de hachage unique : divisée et distribuée


• Routage
• Efficacité
• Auto-gestion (pas de serveur principal)

30
SHARDING AVEC DHT: EXEMPLE

31

Vous aimerez peut-être aussi