Lab Big Data
Section : Info_2
2023 - 2024
Dr Abdelkarim Mars
TP 3 Hadoop avec Docker
Installation de hadoop avec Docker :
Le but de cet atelier ne vise pas à expliquer comment utiliser Docker ou
comment configurer Hadoop avec Docker. L'idée est d'installer et de
commencer à utiliser Hadoop via Docker. Il faut suivre simplement les étapes
comme pour l'installation d'un nouveau logiciel.
Étape 1 : pré-requis
NB : Il faut installer linux, ubuntu 20.04.
Note : Virtual Box ne prend pas en charge la virtualisation imbriquée,
n'essayez donc pas d'installer Docker sur Virtual Box Linux.
Étape 2 : installer Docker, Docker-Compose, Git
1. Suivez ce lien pour installer Docker :
[Link]
ubuntu-20-04
Vérifier l’installation :
Taper cette commande : $ docker –version
2. Vérifier l’installation de docker composer :
Taper cette commande : docker-compose --version
3. Tester l’installation de GIT :
Taper cette commande : $ git –version sinon suivez ce lien :
([Link]
install-git-on-linux-mac-and-windows/)
4. Installer l’image de docker :
$ mkdir hadoop_docker
$ cd hadoop_docker
$ git clone [Link]
$ cd bd-infra
docker-compose up -d
5. Vérifier l’état des contenaires :
docker ps
6. Vérification des services :
Verifier Namenode: [Link]
7. Connecter le namenode : $ docker exec -it namenode bash$ docker
exec -it namenode bash
8. Aller au rout : $cd
9. Créer un rep scratch dans le root
10. Télécharger cet exemple :
[Link]
11. #unzip [Link]
12. Vérifier le contenu : cat "5000 Sales [Link]" | head
13. Renommer le fichier : mv "5000 Sales [Link]" [Link]
14. Afficher les fichier sous HDFS : # hdfs dfs -ls /
15. Créer les rep :
# hdfs dfs -mkdir /db# hdfs dfs -mkdir /db/sales
16. Copier le fichier vers le HDFS :
# hdfs dfs -copyFromLocal [Link] /db/sales/
17. Vérifier :
# hdfs dfs -ls /db/sales/[Link]# hdfs dfs -cat
/db/sales/[Link] | head
18. Tester ces commandes
# hdfs dfs -mkdir -p /db/test
# hdfs dfs -mkdir -p /db/sample
# hdfs dfs -touchz /db/test/[Link]
# hdfs dfs -cp /db/test/[Link] /db/test/[Link]
# hdfs dfs -mv /db/test/[Link] /db/sample/[Link]
# hdfs dfs -rmr /db/test# hdfs dfs -du /db
19. Arréter docker :
$ docker stop $(docker ps -aq)
