Scribd
Importer
19 vues6 pages

Compte Rendu Du Big Data-1

Le document décrit l'installation et la configuration de Hadoop sur un système Linux, en mettant l'accent sur l'importance du JDK et du service SSH pour la communication entre les nœuds. Il détaille également les étapes de formatage du système de fichiers HDFS, la création de répertoires, et le transfert de fichiers dans HDFS. Enfin, il présente des captures d'écran confirmant la réussite de ces opérations et le bon fonctionnement du système de gestion des fichiers distribués.

Transféré par

ettaghiaziza
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd
19 vues6 pages

Compte Rendu Du Big Data-1

Le document décrit l'installation et la configuration de Hadoop sur un système Linux, en mettant l'accent sur l'importance du JDK et du service SSH pour la communication entre les nœuds. Il détaille également les étapes de formatage du système de fichiers HDFS, la création de répertoires, et le transfert de fichiers dans HDFS. Enfin, il présente des captures d'écran confirmant la réussite de ces opérations et le bon fonctionnement du système de gestion des fichiers distribués.

Transféré par

ettaghiaziza
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd

Compte rendu du Big Data

Réalisé par :
Loubna MNEDDEM
Cette image illustre l’installation du JDK (Java Development Kit) sur le système Linux.
Le JDK est essentiel pour exécuter Hadoop, car celui-ci repose sur la machine virtuelle Java
(JVM).

Cette image présente l’installation du service SSH à l’aide de la commande sudo apt-get
install ssh.
Le SSH est indispensable pour permettre la communication entre les nœuds d’un cluster
Hadoop, même sur une machine locale.
Cette image présente l’installation du service SSH à l’aide de la commande sudo apt-get
install ssh.
Le SSH est indispensable pour permettre la communication entre les nœuds d’un cluster
Hadoop, même sur une machine locale.

La capture montre la navigation dans le dossier contenant les fichiers extraits de Hadoop.
Elle confirme que l’installation a bien été décompressée et que les fichiers nécessaires sont
disponibles.
Ici, l’utilisateur génère une paire de clés SSH à l’aide de la commande ssh-keygen.
Cette clé est utilisée pour permettre les connexions SSH sans mot de passe entre les nœuds du
cluster Hadoop.

Cette étape montre le formatage du système de fichiers distribué HDFS (hadoop namenode -
format).
Le formatage initialise le répertoire HDFS pour le stockage des données dans le cluster
Hadoop.
La capture présente le démarrage des différents services Hadoop après le formatage du HDFS.
Elle indique que les composants du cluster (namenode, datanode, etc.) sont en cours
d’exécution.

La commande hadoop fs -mkdir /user permet de créer un répertoire utilisateur dans le système
de fichiers HDFS.
C’est une étape nécessaire avant de stocker ou traiter des données dans Hadoop.

Ce capture illustre l’interface web de Hadoop Distributed File System (HDFS), utilisée pour
la gestion et la visualisation des répertoires du système de fichiers distribué. On y remarque la
présence du répertoire /user contenant le dossier code.witharjun. Cette observation confirme
la réussite de la commande de création du répertoire utilisateur dans HDFS. L’affichage des
métadonnées (propriétaire, groupe, taille, date de modification, etc.) témoigne du bon
fonctionnement du système de gestion des fichiers distribués.

les commandes exécutées dans le terminal pour manipuler le système de fichiers Hadoop.
L’utilisateur crée d’abord un répertoire principal /user, puis un sous-répertoire
/user/code.witharjun. Ensuite, il crée localement un fichier vide nommé demo.csv à l’aide de
la commande touch. Enfin, le fichier est transféré du système local vers le répertoire HDFS
grâce à la commande hadoop fs -put demo.csv /user/code.witharjun. Ces étapes montrent le
processus complet de création de dossiers et de mise en ligne d’un fichier dans HDFS.

Le capture affiche de nouveau l’interface web HDFS après l’exécution des commandes
précédentes. On y observe le fichier demo.csv présent dans le répertoire /user/code.witharjun.
Les informations détaillées indiquées — telles que le propriétaire, la taille du bloc (128 MB),
la date de dernière modification et le facteur de réplication — confirment la réussite du
transfert et l’intégration correcte du fichier dans HDFS. Cette étape valide ainsi le bon
déroulement du processus de stockage distribué dans l’environnement Hadoop

Vous aimerez peut-être aussi