Matière : Framework et technologies Big Data
Auditoire : 3-IM
Responsables : Ikram Chaabane et Mohamed Hmiden Année universitaire
2023-2024
TP 1 – Préparation de l’environnement de travail
1. Définitions
Machine virtuelle : Une machine virtuelle se définit comme un fichier informatique,
généralement appelé image, qui se comporte comme un ordinateur réel. Cette machine utilise
une portion de ressources de l’ordinateur où elle est installée.
Hyperviseur : couche logicielle qui s’installe sur un ordinateur pour surveiller le fonctionnement
de la machine virtuelle.
2. Installation de l’hyperviseur
2.1. Télécharger Oracle VM Virtual Box (VirtualBox-6.1.16-140961-Win)
2.2. Installer le Oracle VM Virtual Box téléchargé
2.3. Télécharger le deuxième fichier setup (Oracle-VM.....extpack) et l'installer
3. Installation de Ubuntu sur l’hyperviseur
3.1. Télécharger Ubuntu 22.04
3.1.1. Télécharger l’image iso d’Ubuntu 22.04 Desktop 64 bits à partir de ce lien
3.2. Créer une machine virtuelle
3.2.1. Lancer Oracle VM Virtual Box.
3.2.2. Cliquer sur Nouvelle
3.2.3. Dans la fenêtre qui s’ouvre:
Donner un nom à la machine (Ubuntu par exemple)
Choisir le type Linux et système d’exploitation Ubuntu (64 bits)
3.2.4. Réserver au moins 2048 Mo pour la mémoire RAM afin d’assurer une rapidité de
manipulation acceptable.
3.2.5. Cliquer sur « Créer un disque dur virtuel maintenant » puis cliquer sur « créer » pour
créer un disque dur (10Go par défaut)
3.2.6. Choisir l’option VDI pour le type de fichier de disque dur.
3.2.7. Pour le stockage sur le disque dur physique, choisir l’option « Dynamiquement alloué
» (pour optimiser l’utilisation de votre disque selon les données existantes)
3.2.8. Ne rien changer pour l’emplacement et choisir 30 GO comme taille limite du disque
dur.
3.2.9. Sélectionner la machine créée (Ubuntu) et cliquer sur Configuration, passer à l’onglet
« affichage » et augmenter la mémoire vidéo à 60 Mo.
3.3. Installer Ubuntu sur la machine virtuelle créée
3.3.1. Démarrer la nouvelle machine
1
3.3.2. Choisir le disque de démarrage en choisissant l’image iso d’installation de Ubuntu
stocké sur votre ordinateur et cliquer sur démarrer.
En cas d’échec de démarrage de la nouvelle machine virtuelle, il faut vérifier si le bios de
votre machine permet la virtualisation.
(Ceci peut prendre quelques minutes)
3.3.3. Choisir la langue
3.3.4. Améliorer la résolution de l’écran de Ubuntu en suivant ces étapes :
Une fois la langue choisie, sélectionnez Essayer Ubuntu
Ouvrez les Paramètres du système en passant par le menu en haut à droite.
3.3.4.1. Allez dans Périphériques > Écrans et changez la résolution pour une
supérieure.
3.3.5. Relancer l’installation en cliquant sur l’icône prévue à cet effet sur le bureau ou le
tableau de bord.
3.3.6. Choisissez Français puis Continuer
3.3.7. Choisissez installation minimale et cochez les 2 options (télécharger les mises à jours
et installer un logiciel tiers pour le matériel graphique)
3.3.8. Choisir « Effacer le disque et installer maintenant » et cliquer sur continuer
3.3.9. Laisser à Paris et continuer
3.3.10. Pour la disposition du clavier, choisir « Français » et cliquer sur continuer
3.3.11. Pour les questions Qui êtes vous ? (Entrez ces valeurs)
Votre nom : machine1
Le nom de votre ordinateur : machine1
Le nom de l’utilisateur : u1
Mot de passe : « hadoop »
Cochez « Ouvrir la session automatiquement » et cliquez sur continuer.
3.3.12. Continuer puis redémarrer
4. Installation de Java sur le système d’exploitation Linux
4.1. Mettre à jour les fichiers de dépôt
Ouvrir le terminal et Mettre à jour les fichiers de dépôt en tapant la commande : sudo apt-get
update
2
- apt-get : est un outil logiciel à utiliser en ligne de commande, il permet l’installation et la
désinstallation de paquets en provenance d’un dépôt APT, ce dernier est une source (ou un serveur)
de logiciels. L’usage de ces outils centralise la gestion des logiciels et la simplifie. Ils permettent
également aux distributeurs (ceux qui mettent en place les dépôts) de vous fournir les mises à jour par
une voie centralisée.
- apt-get update : l’option « update » met à jour la liste des fichiers disponibles dans les dépôts APT
présents dans le fichier de configuration /etc/apt/sources.list. L’exécuter régulièrement est une bonne
pratique afin de maintenir à jour votre liste de paquets disponibles.
- apt-get install : permet d’installer un paquet.
4.2. Installer java
Taper la commande: sudo apt-get install default-jdk
i.e. apt-get install default-jdk : installer le paquet java par défaut (le plus récent)
Taper O (pour dire oui)
Vérifier l’installation de java en tapant la commande : java -version
5. Installation rsync
Taper la commande : sudo apt-get install rsync
- rsync (pour la synchronisation à distance), est un logiciel de synchronisation de fichiers. Il est
fréquemment utilisé pour mettre en place des systèmes de sauvegarde distante,
- rsync travaille de manière unidirectionnelle c'est-à-dire qu'il synchronise, copie ou actualise
les données d'une source (locale ou distante) vers une destination (locale ou distante) en ne
transférant que les octets des fichiers qui ont été modifiés.
6. Installation et configuration de SSH
6.1. Installer ssh
SSH est la méthode de connexion sécurisée utilisée par Hadoop pour la communication
entre les noeuds du cluster. Passez à la section suivante si vous disposez déjà d’une
connexion SSH et que votre machine peut se connecter à elle-même.
Taper la commande: sudo apt-get install ssh
6.2. Générer une clé de cryptage
Générez une paire clé
privée/clé publique à
l’aide des commandes
suivantes :
ssh-keygen -t rsa -P ""
- Le chiffrement RSA
(nommé par les
initiales de ses trois
inventeurs) est un
algorithme de
cryptographie
3
asymétrique, très utilisé dans le commerce électronique, et plus généralement pour
échanger des données confidentielles sur Internet.
-P "" signifie sans mot de passe.
6.3. Copier la clé dans « authorized_keys »
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
6.4. Configuration SSH
Pour permettre une connexion à la machine, nous avons besoin du serveur SSH qui n’est pas
installé par défaut sur la version Desktop de Ubuntu. Installez le serveur OpenSSH:
sudo apt-get install openssh-server -y
À la fin de l’installation, ouvrez le fichier ssh_config et modifiez les configurations de la façon
suivante:
sudo gedit /etc/ssh/ssh_config
Identifiez la ligne # StrictHostKeyChecking et décommentez-la en lui attribuant la valeur no
comme ci-dessous:
Enregistrez et fermez le fichier. Redémarrez le service SSH:
sudo service ssh restart
Lancez une connexion SSH à votre machine pour vous assurer que le tout fonctionne bien, puis tapez
exit pour fermer la connexion:
ssh localhost
exit()
