Robots.txt est un fichier texte qui permet à un site web de fournir des instructions aux robots d'exploration web.
Il indique aux moteurs de recherche comme Google quelles parties de votre site web ils peuvent et ne peuvent pas accéder lors de l'indexation de votre site.
Cela fait de robots.txt un outil puissant pour le SEO et peut également être utilisé pour s'assurer que certaines pages n'apparaissent pas dans les résultats de recherche Google.
Comment fonctionne Robots.txt ?
Robots.txt est un fichier texte que vous pouvez créer pour indiquer aux robots des moteurs de recherche quelles pages explorer et indexer sur votre site web. Il est normalement stocké dans le répertoire racine de votre site web.
Les moteurs de recherche comme Google utilisent des robots d'exploration web, parfois appelés robots web, pour archiver et catégoriser les sites web. La plupart des robots sont configurés pour rechercher un fichier robots.txt sur le serveur avant de lire tout autre fichier du site web. Un robot fait cela pour voir si le propriétaire d'un site web a des instructions spéciales sur l'exploration et l'indexation de son site.
Le fichier robots.txt contient un ensemble d'instructions qui demandent au robot d'ignorer des fichiers ou des répertoires spécifiques. Cela peut être pour des raisons de confidentialité ou parce que le propriétaire du site web estime que le contenu de ces fichiers et répertoires est sans importance pour la catégorisation du site web dans les moteurs de recherche.
Voici un exemple de fichier robots.txt :
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Dans cet exemple, l'astérisque '*' après 'User-Agent' spécifie que les instructions s'adressent à tous les moteurs de recherche.
Ensuite, nous autorisons les moteurs de recherche à explorer et indexer les fichiers de notre dossier de téléchargements WordPress. Ensuite, nous leur interdisons d'explorer et d'indexer les dossiers des plugins et de l'administration WordPress.
Notez que si vous n'interdisez pas une URL, les robots des moteurs de recherche supposeront qu'ils peuvent l'indexer.
Enfin, nous avons fourni l'URL de notre sitemap XML.
Comment créer un fichier Robots.txt dans WordPress
Le moyen le plus simple de créer un fichier robots.txt est d'utiliser All in One SEO. C'est le meilleur plugin SEO WordPress du marché et il est livré avec un générateur de fichier robots.txt facile à utiliser.
Un autre outil que vous pouvez utiliser est WPCode, un puissant plugin d'extraits de code qui vous permet d'ajouter facilement et en toute sécurité du code personnalisé à votre site web. La version Pro inclut une fonctionnalité pratique qui vous permet de modifier rapidement le fichier robots.txt.
Cependant, si vous êtes familier avec le code, vous pouvez créer le fichier robots.txt manuellement. Vous devrez utiliser un client FTP pour modifier le fichier robots.txt. Alternativement, vous pouvez utiliser le gestionnaire de fichiers fourni par votre hébergement WordPress.
Pour plus de détails sur la création d'un fichier robots.txt, consultez notre guide sur comment optimiser votre robots.txt WordPress pour le SEO.
Comment utiliser Robots.txt pour empêcher les moteurs de recherche d'explorer un site
Les moteurs de recherche sont la principale source de trafic pour la plupart des sites Web. Cependant, il existe plusieurs raisons pour lesquelles vous pourriez vouloir décourager les moteurs de recherche d'indexer votre site.
Par exemple, si vous êtes encore en train de construire votre site Web, vous ne voudrez pas qu'il apparaisse dans les résultats de recherche. Il en va de même pour les blogs privés et les intranets d'entreprise.
Vous pouvez utiliser des règles de désactivation dans votre fichier robots.txt pour demander aux moteurs de recherche de ne pas indexer votre site Web entier ou seulement certaines pages. Vous trouverez des instructions détaillées dans notre guide sur comment empêcher les moteurs de recherche d'explorer un site WordPress.
Vous pouvez utiliser des outils comme All in One SEO pour ajouter automatiquement ces règles à votre fichier robots.txt.
Il est important de noter que tous les robots n'honoreront pas un fichier robots.txt. Certains robots malveillants liront même le fichier robots.txt pour trouver quels fichiers et répertoires ils devraient cibler en premier.
De plus, même si un fichier robots.txt demande aux robots d'ignorer des pages spécifiques du site, ces pages peuvent toujours apparaître dans les résultats de recherche si elles sont liées à d'autres pages explorées.
Nous espérons que cet article vous a aidé à en apprendre davantage sur robots.txt dans WordPress. Vous voudrez peut-être également consulter notre liste de lecture supplémentaire ci-dessous pour des articles connexes sur des conseils, astuces et idées utiles pour WordPress.
Si cet article vous a plu, abonnez-vous à notre chaîne YouTube pour des tutoriels vidéo WordPress. Vous pouvez également nous retrouver sur Twitter et Facebook.
Lectures supplémentaires
- SEO
- Comment optimiser votre fichier Robots.txt WordPress pour le SEO
- Qu'est-ce qu'un sitemap XML ? Comment créer un sitemap dans WordPress
- Comment ajouter votre site WordPress à Google Search Console
- Comment masquer une page WordPress de Google (4 méthodes)
- Comment empêcher les moteurs de recherche d'explorer un site WordPress
