Souhaitez-vous optimiser votre fichier WordPress « robots.txt » ?
Vous ne savez peut-être pas comment et pourquoi ce fichier est si important pour votre référencement ?
Nous avons ce qu’il vous faut.
Dans ce tutoriel, je vous montrerais comment optimiser le fichier « robots.txt » pour un meilleur SEO et je vous aiderais à mieux comprendre l’importance de ces fichiers.
Récemment un de nos abonnés a souhaité savoir quelle était réellement l’importance du fichier « robots.txt » pour son blog.
Premièrement, vous devez savoir qu’il s’agit là d’une passerelle de communication entre vous et les moteurs de recherche, à travers laquelle vous leur donnez des détails sur la manière dont votre blog doit être indexé.
Avez-vous réellement besoin de ce fichier ?
L’absence de ce fichier n'empêchera pas aux moteurs de recherche d’indexer votre blog. Toutefois, il est fortement recommandé d’en créer un.
Si vous souhaitez soumettre un fichier « sitemap XML » aux moteurs de recherche, c’est à partir de là que les moteurs rechercheront le fichier XML, sauf s’il est manuellement spécifié sur les outils des Webmasters Google (Google Webmasters Tools)
Nous vous recommandons vivement de créer immédiatement un fichier « robots.txt » si vous n’en possédez pas.
Mais avant, si vous n’avez jamais installé WordPress découvrez Comment installer un blog WordPress en 7 étapes et Comment rechercher, installer et activer un thème WordPress sur votre blog
Ensuite revenons vers ce pourquoi nous sommes là.
Où se trouve le fichier « robots.txt », comment en créer un ?
Le fichier « Robots.txt » est généralement disponible à la racine de votre installation. Vous aurez besoin d’utiliser un client FTP pour y accéder ou utiliser votre cPanel pour gérer vos fichiers.
Allez plus loin en découvrant Comment gérer les fichiers et les dossiers WordPress
C’est un fichier ordinaire comme tous les autres et il vous suffira de l’ouvrir avec un éditeur de texte quelconque comme notepad.
Si vous ne trouvez pas le fichier « robots.txt » à la racine de votre installation, alors vous pouvez toujours en créer un. Tout ce que vous devez faire, c’est de créer un fichier texte nommé « robots.txt » sur votre ordinateur et de l’envoyer à la racine de votre hébergement en utilisant un client FTP comme précisé plus haut.
Comment utiliser le fichier « robots.txt » ?
La syntaxe à utiliser pour le fichier « robots.txt » est très simple. La première ligne précise généralement le nom d’un Agent. L’Agent est le nom d’un robot avec lequel vous communiquez. Par exemple « Googlebot » ou « Bingbot » pour les robots respectifs de Google et de Bing. Vous pouvez utiliser « * » pour donner des instructions à tous les robots en même temps.
La ligne suivante débute avec « Allow » ou « Disallow » (autoriser ou Interdire) l’indexation d’un chemin d’accès. Ainsi, les robots sauront quoi indexer et ce qu’il ne faut pas indexer.
Voici un exemple d’un fichier « robots.txt »
Dans ce fichier brouillon « robots.txt » de WordPress, nous avons donné des instructions aux robots afin qu’ils indexent tout le répertoire des fichiers médias.
Les deux dernières lignes interdisent l’indexation du répertoire des plugins et du fichier « readme.html ».
Comment optimiser votre fichier « robots.txt » pour un meilleur SEO
Google recommande de ne pas utiliser le fichier « robots.txt » pour masquer un contenu non-pertinent. Si vous envisagiez de l’utiliser pour empêcher à Google d’indexer vos catégories, archives ainsi de suite, alors vous devez savoir que ce n’est pas une pratique avisée.
Rappelez-vous, l’objectif du fichier est de donner des instructions aux robots afin que ces derniers puissent correctement indexer votre blog. Il n'empêche pas aux robots d’analyser votre blog.
Il existe un plugin WordPress qui vous permet d’ajouter des tags « meta » comme « nofollow » et « noindex » sur les pages de vos archives, il s’agit du plugin WordPress SEO. Nous ne disons pas que vous devez absolument désindexer vos archives, mais si vous souhaitez le faire, c’est le moyen le plus approprié.
Vous n’avez pas besoin d’ajouter la page de connexion, ou le répertoire d’administration ou même la page d’inscription dans votre fichier « robots.txt » car ces pages possèdent déjà les balises « noindex ».
Il est recommandé de désactiver la lecture du fichier readme.html depuis votre fichier « robots.txt ». Ce fichier peut être utilisé par n’importe qui afin de récupérer la version de WordPress que vous utilisez pour rechercher d’éventuelles failles.
Mais également, si une autre personne exécute un code malveillant pour rechercher les blogs utilisant une version précise de WordPress, alors désactiver ce fichier pourra vous protéger de plusieurs attaques.
Découvrez aussi nos 10 plugins WordPress pour renforcer la sécurité de votre blog
Vous pouvez désactiver le répertoire des plugins. Ceci ajoutera une barrière de protection supplémentaire à votre blog.
Comment ajouter le site map XML au fichier « robots.txt »
Si vous utilisez un plugin pour générer votre fichier XML, alors votre plugin essaiera automatiquement d’ajouter un sitemap au fichier « robots.txt ».
Découvrez Comment utiliser les sitemaps sur WordPress
Toutefois, s’il n’y arrive pas, vous pouvez le faire en ajoutant les lignes suivantes :
À quoi ressemble un fichier « robots.txt » complet ?
Honnêtement, la plupart des blogs utilisent un fichier simple « robots.txt ». Leur contenu varie en fonction des besoins de chaque blog.
Ce fichier indique aux robots d’indexer tout le contenu et fournir le chemin d’accès vers les fichiers XML.
Découvrez aussi quelques plugins WordPress premium
Vous pouvez utiliser d’autres plugins WordPress pour donner une apparence moderne et pour optimiser la prise en main de votre blog ou site web.
Nous vous proposons donc ici quelques plugins WordPress premium qui vous aideront à le faire.
1. CommentPress
CommentPress est un plugin puissant WordPress compact qui vous permet d’insérer, de modifier et de supprimer des commentaires rapidement et facilement. CommentPress utilise Ajax, jQuery et PHP pour donner la possibilité aux visiteurs d’insérer des commentaires sans avoir à recharger la page.
Ce plugin possède de nombreuses options de personnalisation, enfin de lui donner le look et l’apparence que vous souhaitez. Il possède un captcha pour bloquer les spams et apporte à votre section commentaire plus de sécurité.
Ses principales fonctionnalités sont : l’insertion facile des commentaires, la possibilité donnée aux utilisateurs de répondre à des commentaires spécifiques, la pagination des commentaires, la gestion complète de l’administration de la section commentaires, des boutons d’insertion facile des images, des vidéos et des liens, une mise en page entièrement responsive, un Captcha pour sécuriser le formulaire et éviter le spam, et beaucoup plus.
Télécharger | Démo | Hébergement Web
2. jqEasytooltip
JqEasytooltip est un éditeur pour WordPress d’infobulles facile à utiliser et personnalisable. Ce plugin WordPress est livré avec de nombreux modèles d’infobulles, des effets de transition css3, et plus de 300 icônes de police incroyables incluses pour les acheteurs. Toutes ses configurations peuvent être gérée via l’intégration de l’éditeur tinymce. 
Et ses principales fonctionnalités sont : un éditeur d’infobulles facile et rapide (Intégration Tinymce), compatible avec d’autres plugins, une mise en page entièrement responsive, le support du plugin jquery Jqeasytooltip jquery, 35 modèles de thèmes au choix et personnalisables, plus de 300 icônes prêtes à l'emploi, 10 animations en pure CSS3 pour apparaître et disparaître, etc…
Télécharger | Démo | Hébergement Web
3. Social Auto Poster
Social Auto Poster est un plugin WordPress et un choix parfait pour la publication automatique de votre contenu sur des plateformes de réseaux sociaux telles que : Facebook, LinkedIn, Twitter, Tumbler, BufferApp, Instagram et Pinterest. 
Vous aurez la possibilité de configurer vos comptes de réseaux sociaux et publier un nouveau contenu, ou republier un ancien pour le garder en vie et atteindre un public plus large.
Ce plugin WordPress fournit une fonctionnalité étonnante qui permet de planifier la publication de votre contenu à tout moment. Il fonctionne également avec les profils personnels, les pages professionnelles, les groupes, etc…
Télécharger | Démo | Hébergement Web
Ressources recommandées
Découvrez d’autres ressources recommandées qui vous accompagneront dans la création et la gestion de votre site web.
- Comment ajouter des cartes interactives à votre site web WordPress
- Comment créer des documents Excel et Word sur WordPress
- Comment compresser et redimensionner les images sur WordPress
- Comment trouver l’URL (lien) de connexion de votre blog WordPress
Conclusion
Voilà ! C’est tout pour ce tutoriel sur l’optimisation du fichier « robots.txt ». N’hésitez pas à partager l’astuce avec vos amis sur vos réseaux sociaux préférés.
Cependant, vous pourrez aussi consulter nos ressources, si vous avez besoin de plus d’éléments pour mener à bien vos projets de création de sites internet, en consultant notre guide sur la création de blog WordPress.
Si vous avez des suggestions ou des remarques, laissez-les dans notre section commentaires.
…