Faculté des Sciences El Jadida Prof H.
EL FAIK
TP-1 HADOOP
1. Installation de Hadoop
Etape 1 : Installer le kit de développement Java
• Installer java jdk 8
sudo apt update && sudo apt install openjdk-8-jdk
• Vérifier la version java par la commande : java -version
• Installer SSH :
L'installation de SSH (Secure Shell) est essentielle pour Hadoop car elle permet une
communication sécurisée entre les nœuds du cluster Hadoop.
Cela garantit l'intégrité et la confidentialité des données et permet un traitement distribué
efficace des données dans le cluster.
sudo apt install ssh
• Créer l'utilisateur Hadoop :
Tous les composants Hadoop fonctionnera sous l'identité de l'utilisateur que vous aurez
créé pour Apache Hadoop, et cet utilisateur sera également utilisé pour se connecter à
l'interface web de Hadoop.
Exécutez la commande pour créer l'utilisateur et définir le mot de passe :
sudo adduser Hadoop
Switch user: su – Hadoop
• Configurer SSH :
Maintenant, configurez l'accès SSH sans mot de passe pour l'utilisateur Hadoop
nouvellement créé. Générez d'abord une paire de clés SSH : ssh-keygen -t rsa
• Définir les autorisations :
Copiez la clé publique générée dans le fichier de clés autorisées et définissez les
autorisations appropriées :
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 640 ~/.ssh/authorized_keys
• SSH vers localhost
ssh localhost
Il vous sera demandé d'authentifier les hôtes en ajoutant des clés RSA aux hôtes connus.
Tapez yes et appuyez sur Enter pour authentifier l'hôte local.
1
Faculté des Sciences El Jadida Prof H. EL FAIK
• Installer Hadoop 3.3.6 par la commande :
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
Une fois le fichier téléchargé, vous pouvez le décompresser dans un dossier en utilisant la
commande :
tar -xvzf hadoop-3.3.6.tar.gz
Renommez le dossier extrait pour supprimer les informations relatives à la version. Cette
étape est facultative, mais si vous ne souhaitez pas renommer le dossier, ajustez les
chemins de configuration restants.
mv hadoop-3.3.6 hadoop
• Ouvrez le fichier « .bashrc » dans l'éditeur de texte par la commande : nano ~/.bashrc et
collez les commandes suivantes à la fin du fichier :
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
• Charger la configuration ci-dessus dans l'environnement actuel en utilisant la commande :
source ~/.bashrc
2. Configuration de l'installation de Hadoop
Etape 1 :
Après installation de Hadoop et si ce n'est pas encore fait, modifier les fichiers de
configuration suivants : hadoop-env.sh par la commande :
nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh
# set to the root of your Java installation
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
2
Faculté des Sciences El Jadida Prof H. EL FAIK
Etape 2 :
Vous devez créer les répertoires namenode et datanode dans le répertoire personnel de l'utilisateur
Hadoop. Exécutez la commande suivante pour créer les deux répertoires :
cd hadoop/
Après èxècutèr la commandè : mkdir -p ~/hadoopdata/hdfs/{namènodè,datanodè}
Etape 3 :
Par dèfaut Hadoop èst installè èn modè StandAlonè, cè qui signifiè qu'un sèul èt uniquè
procèssus MapRèducè pèut ètrè lancè. Il faut donc modifièr lè fichièr dè configuration "corè-
sitè.xml" pour travaillèr èn modè Psèudo-Distributèd.
Editèr lè fichièr corè-sitè.xml èt lè mèttrè a jour avèc lè nom d'hotè dè votrè systèmè :
nano $HADOOP_HOME/etc/hadoop/core-site.xml
Apportez les modifications suivantes :
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
Editer le fichier hdfs-site.xml :
nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml
Apportez les modifications suivantes :
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>
<property>
3
Faculté des Sciences El Jadida Prof H. EL FAIK
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>
Editer le fichier mapred-site.xml :
nano $HADOOP_HOME/etc/hadoop/mapred-site.xml
Apportez les modifications suivantes :
<configuration>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_HOME/home/hadoop/hadoop/bin/hadoop</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_HOME/home/hadoop/hadoop/bin/hadoop</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_HOME/home/hadoop/hadoop/bin/hadoop</value>
</property>
</configuration>
Editer le fichier yarn-site.xml :
nano $HADOOP_HOME/etc/hadoop/yarn-site.xml
Apportez les modifications suivantes :
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
Etape 4 :
Démarrer le cluster Hadoop :
Avant de démarrer le cluster Hadoop. Vous devrez formater le Namenode en tant qu'utilisateur
Hadoop. Exécutez la commande suivante pour formater le Namenode Hadoop :
hdfs namenode -format
4
Faculté des Sciences El Jadida Prof H. EL FAIK
Une fois que le répertoire namenode est formaté avec succès avec le système de fichiers hdfs,
vous verrez le message "Storage directory /home/hadoop/hadoopdata/hdfs/namenode has been
successfully formatted"
Démarrez ensuite le cluster Hadoop à l'aide de la commande suivante :
start-all.sh
Vous pouvez maintenant vérifier l'état de tous les services Hadoop à l'aide de la commande jps :
jps
Étape 5 :
Pour accéder au Namenode, ouvrez votre navigateur web et visitez l'URL http://localhost:9870.
Vous devriez voir l'écran suivant :
Pour accéder à Resource Manage, ouvrez votre navigateur web et visitez l'URL
http://localhost:8088. L'écran suivant devrait s'afficher :
5
Faculté des Sciences El Jadida Prof H. EL FAIK
Fin !
