WordPress : Optimisez la configuration de votre fichier Robots.txt !

Vous aussi vous êtes convaincu que WordPress est aujourd’hui le meilleur CMS pour optimiser votre référencement naturel. On est d’accord! Et nous ne sommes pas les seuls. En effet, le géant Google semble apprécier fortement cette technologie dans la mesure où vous l’avez bien configuré – bien sûr.

Du choix de vos modules à la configuration de votre fichier robots.txt, vous pouvez rapidement vous retrouver avec du contenu dupliqué, des pages inutiles indexées, ce qui perturbe la compréhension de votre site par les moteurs de recherche et donc pénalise votre site en terme de référencement.

Vous trouverez ci-dessous les principales règles pour optimiser parfaitement votre robots.txt, de manière à guider les moteurs de recherche. Cela permettra à votre site de présenter les bonnes pages aux internautes et d’optimiser le jus de vos pages.

Fichier robots.txt WordPress optimisé

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

Une fois votre robots.txt configuré, rendez-vous sur la page suivante de votre site www.site.com/robots.txt afin de vérifier la présentation du fichier.

• Exemple pour notre site : https://www.eskimoz.be/robots.txt

Finies les pages /category/ qui sortent sur Google à la place de votre article, qui lui, contrairement à la page /category/, est parfaitement optimisé au niveau SEO.

Pour finir, l’utilité principale d’optimiser son fichier robots.txt sur WordPress est que vous concentrez le jus au bon endroit, au lieu de le partager sur plusieurs pages.

Pourquoi indexer 100 pages, quand seulement 10 sont utiles ?

• Pensez à consulter le guide pratique robots.txt de Google.

Depuis Google mobile friendly

Suite à la mise en place du label Google mobile friendly le 21 avril 2015, il n’est plus conseillé de bloquer les fichiers JavaScript, CSS et images car cela empêche l’obtention de celui-ci.

• Source : Google Developers

Même si le label n’a qu’une incidence sur les recherches mobiles pour le moment, il devrait prendre de plus en plus d’ampleur dans les mois/années à venir donc pensez à soigner minutieusement la limitation des accès à vos pages !