La bonne façon de ne pas indexer une page

Publié: 2022-12-02

Cela peut sembler contre-intuitif, mais toutes les pages de votre site Web ne doivent pas apparaître dans les résultats de recherche. L'optimisation des moteurs de recherche (SEO) s'efforce d'augmenter la visibilité de la recherche et le trafic organique - et parfois, vous pouvez mieux atteindre cet objectif en limitant le contenu qui peut apparaître dans les résultats de recherche.

Si vous vous grattez la tête ou appelez mon bluff, lisez la suite pour découvrir la valeur de la non-indexation d'une page ou d'un sous-répertoire et comment implémenter les balises noindex.

Que signifie Noindex ?

Le terme "noindex" est une directive spéciale dans une balise meta robots qui indique aux robots de recherche d'exclure la page des pages de résultats des moteurs de recherche (SERP). Cela signifie que les chercheurs ne pourront pas accéder à la page via la recherche.

Élément précieux de toute stratégie de référencement technique, les balises méta des robots vous permettent d'exclure les pages qui n'apportent aucune valeur aux internautes ou qui contiennent des informations que vous ne souhaitez pas voir apparaître dans les résultats de recherche, telles que :

Pages de confirmation et de remerciement
Pages de connexion
Politique de confidentialité ou page des conditions d'utilisation
Contenu sécurisé
Messages d'erreur

Robots Meta Tag vs Robots.txt vs X-Robots Tag

La balise Meta Robots est souvent confondue avec le fichier robots.txt et la balise x-robots. Tous trois donnent des instructions aux robots de recherche sur les pages et font partie du protocole d'exclusion des robots (REP). Plus simplement : ils indiquent à Google ce qu'il faut mettre dans la recherche Google et ce qu'il faut en exclure, ainsi que les pages qu'ils doivent explorer. Cependant, ils ne peuvent pas et ne doivent pas être utilisés de manière interchangeable.

Balise Meta Robots

Une balise méta robots est ajoutée à la section <head> d'une page Web particulière et ne transmet que des instructions concernant cette page spécifique. Souvent appelée balise noindex ou balise meta noindex, la balise meta robots peut faire plus que simplement dire à un robot de recherche de ne pas indexer une page.

Il peut également être utilisé pour demander aux robots de ne pas suivre les liens, de traduire une page, de bloquer un robot de recherche spécifique ou d'empêcher un lien en cache d'apparaître dans les SERP.

Les directives courantes sur les balises Meta des robots incluent :

Noindex, nofollow — <meta name=”robots” content=”noindex, nofollow”>
Googlebot et d'autres robots d'exploration Web peuvent accéder à la page, mais ils ne doivent pas l'indexer ni suivre ses liens.
Noindex, suivez — <meta name=”robots” content=”noindex”>
Googlebot et d'autres robots d'exploration Web peuvent accéder à la page et suivre les liens qu'elle contient, mais ils ne doivent pas indexer la page elle-même. Vous n'avez pas besoin d'inclure "suivre" dans la balise META puisque c'est la valeur par défaut.

Robots.txt

Robots.txt est un fichier qui permet aux propriétaires de sites d'indiquer aux moteurs de recherche les parties de leur site qu'ils ne veulent pas explorer. C'est comme un signe personnel Ne pas déranger pour votre site Web suspendu au répertoire racine de votre domaine ou sous-domaine.

Un fichier robots.txt est préférable pour empêcher l'accès et l'exploration de sous-répertoires entiers plutôt que pour des pages individuelles. Utilisez-le pour empêcher les robots de recherche d'accéder et d'indexer :

Pages de recherche internes
Paramètres d'URL
Forums où le spam généré par les utilisateurs peut causer des problèmes
Sous-répertoires internes, comme ceux réservés aux employés

Suivez ces étapes pour créer un fichier robots.txt et assurez-vous de créer un lien vers votre sitemap XML.

Si vous créez un lien vers une page incluse dans votre fichier robots.txt, vous pouvez également y ajouter une balise Meta robots pour vous assurer qu'elle n'apparaît pas dans les résultats de recherche. N'oubliez pas que robots.txt empêche uniquement les robots d'exploration d'accéder à une page, pas de l'indexer. Si les pages couvertes par vos directives robots.txt reçoivent des liens externes, les moteurs de recherche peuvent les indexer. Utilisez une balise Meta robots conjointement avec le fichier robots.txt pour éviter cela.

Balise X-Robots

Pour empêcher un PDF, une vidéo ou une image d'apparaître dans les SERP, utilisez une balise x-robots. Les mêmes directives spécifiées pour les balises méta des robots sont utilisées pour les x-robots. Cependant, contrairement à la balise méta robots, qui réside dans l'en-tête HTML d'une page, une balise x-robots est placée dans la réponse d'en-tête HTTP.

La directive ressemble à ceci :

 X-Robots-Tag: noindex

Quand ne pas indexer une page

Ballonnement de l'indice de frein

Le gonflement de l'index se produit lorsque Google indexe des pages avec peu ou pas de valeur pour les chercheurs. Ces pages superflues détournent des ressources de pages plus précieuses. Utilisez une balise meta robots pour gérer les pages qui apparaissent dans les résultats de recherche.

Éradiquer la cannibalisation des mots clés

La cannibalisation des mots clés se produit lorsque deux pages partagent un mot clé et une intention de recherche similaires, les obligeant ainsi à se faire concurrence dans les SERP.

Si vous avez deux pages qui se cannibalisent et que vous souhaitez conserver les deux sans modifier leur contenu, noindex one. Cela dit, vous ne devez le faire que si la page que vous n'indexez pas ne génère pas de trafic à partir de mots-clés que l'autre page ne génère pas. Dans une situation comme celle-ci, vous devrez peut-être retravailler le contenu d'une ou des deux pages pour résoudre le problème de cannibalisation.

Protéger les pages de destination fermées

Lorsque vous proposez une ressource de grande valeur aux clients en échange d'informations de contact, assurez-vous qu'elle n'est pas accessible d'une autre manière. Ajoutez une balise méta robots pour noindexer la page et l'empêcher d'apparaître dans les SERP.

Exclure les produits impopulaires de la recherche

Les sites de commerce électronique proposent souvent des produits pour servir certains clients, même s'il n'y a pas trop de demande pour eux. Par exemple, un détaillant de pièces automobiles ou une autre entreprise technique peut avoir des produits pour des modèles particuliers ou des équipements rares. Si ces pages de produits ou de catégories ne génèrent pas de trafic organique, elles peuvent généralement être non indexées.

Comment désindexer une page Web

La balise meta noindex va dans l'en-tête du code HTML d'une page. Le code n'est pas sensible à la casse et ressemble à ceci :

 <meta name="robots" content="noindex">

"Robots" signifie que la directive s'applique à n'importe quel robot d'exploration, mais vous pouvez distinguer les robots d'exploration en remplaçant "robots" par des noms de robot d'exploration connus, tels que "Googlebot" ou "bingbot".

Les robots suivront toujours les liens sur la page, sauf si vous ajoutez également une commande nofollow. Vous pouvez le faire pour empêcher l'équité du lien de circuler sur la page ou pour empêcher un robot de suivre un lien vers un contenu fermé.

Pour ajouter une valeur nofollow, séparez-la de la directive noindex par une virgule.

 <meta name="robots" content="noindex, nofollow">

Remarque : Avant de ne pas indexer une page, vérifiez si elle a du trafic organique entrant dans Google Search Console. Si tel est le cas, déterminez comment votre site peut continuer à capter ce trafic avant de ne pas indexer la page.

Comment ajouter une balise Meta Robots à votre code HTML

Ouvrez le code source de la page que vous souhaitez noindexer.
Trouvez l'en-tête en haut de la page. Il commence par <head> et se termine par </head>. Il y aura probablement d'autres codes dans l'en-tête également.
Ajoutez la balise meta robots sur une nouvelle ligne, en vous assurant qu'elle apparaît entre les balises <head> et </head>.

C'est ça! Si votre page est déjà indexée, vous pouvez demander à Google de la réexplorer en collant son URL dans l'outil d'inspection d'URL.

Déjà indexé ? Utiliser l'outil de suppression d'URL

Lorsque vous ajoutez une balise noindex à une nouvelle page de contenu, Googlebot verra la directive lorsqu'il explorera la page, et il ne l'indexera pas.

Toutefois, si vous ajoutez la balise à une page qui est déjà indexée , la page continuera d'apparaître dans les résultats de recherche jusqu'à ce qu'elle soit réexaminée et que les bots voient les nouvelles instructions noindex. Vous pouvez demander à Google de réexplorer l'URL dans Google Search Console via l'outil d'inspection d'URL, mais cela ne supprimera pas instantanément la page des SERP.

Si vous devez supprimer une page du SERP immédiatement, utilisez l'outil de suppression de Google Search Console. Cela gardera les pages hors des résultats de recherche Google pendant environ six mois. D'ici là, la balise meta noindex devrait fonctionner.

Comment Noindexer une page sur WordPress

Chaque page de WordPress est indexée par défaut. Vous pouvez utiliser le plugin Yoast SEO pour ne pas indexer une page dans WordPress sans écrire de code. Voici comment.

Cliquez sur l'onglet "Avancé" dans la méta-boîte Yoast SEO.

sélectionnez "avancé" dans le plug-in Yoast Seo pour noindexer une page

Sous la question "Autoriser les moteurs de recherche à afficher cette publication dans les résultats de recherche ?" sélectionnez "Non" dans la liste déroulante.

Bien que ce paramètre indique à Google de ne pas indexer la publication, les robots suivront automatiquement les liens de la page pour explorer d'autres pages.

Si vous souhaitez ajouter une directive nofollow, sélectionnez le bouton « Non » sous la question : « Les moteurs de recherche doivent-ils suivre les liens sur ce message ? »

FAQ sur les balises Meta Robots

Tous les moteurs de recherche obéissent-ils à une directive noindex ?

Vous pouvez vous attendre à ce que Google, Bing et d'autres moteurs de recherche légitimes respectent une balise méta robots.

Puis-je créer un lien vers des pages non indexées ?

Oui. La balise noindex indique aux robots de recherche comment traiter une page lors de l'exploration et de l'indexation. Cela n'affecte pas votre capacité à créer un lien vers une page. Cela peut être utile pour les pages de catégorie sur un blog, qui ne doivent pas apparaître dans les résultats de recherche, mais peuvent fournir aux bots des liens vers des pages utiles qui devraient le faire.

Quand dois-je utiliser une balise meta robots ?

Si vous avez une page qui n'offre aucune valeur aux chercheurs, comme une page de remerciement ou une page imprimable, ne l'indexez pas avec une balise méta robots pour l'empêcher d'apparaître dans les SERP.

Quand ne devrais-je pas utiliser une directive noindex ?

Vous pouvez techniquement résoudre les problèmes de contenu dupliqué et certains problèmes de budget de crawl avec des directives noindex, mais ce n'est pas la meilleure façon de le faire. Le contenu en double est mieux géré à l'aide de balises canoniques, qui concentrent l'équité du lien des doublons sur la page canonique. Si vous essayez de conserver le budget d'exploration, vous devez utiliser le fichier robots.txt pour interdire l'exploration de cette section du site.

Les pages non indexées transmettent-elles l'équité des liens ?

Oui. Même si une page n'est pas indexée, elle peut toujours partager toute autorité de classement créée. Cependant, les robots de recherche doivent avoir la capacité de suivre les liens sur la page pour que l'équité des liens passe. Si une page est définie sur noindex et nofollow, elle ne peut pas transmettre l'équité du lien.

L'absence d'indexation d'une page la supprime-t-elle automatiquement des SERP de Google ?

Si votre page est déjà indexée, l'ajout d'une balise Meta robots ne la supprimera pas automatiquement des résultats de recherche. Il faut un certain temps pour que les pages déjà indexées disparaissent des SERP. Les robots de recherche doivent réexplorer les pages pour voir la balise noindex. Pour des résultats plus rapides, demandez à Google de réexplorer la page et d'utiliser l'outil de suppression d'URL.

Découvrez les pages problématiques avec un audit SEO

Ne laissez pas le contenu léger ou dupliqué affecter la visibilité de votre recherche. Assurez-vous de donner à vos pages les meilleures chances de se classer. Notre audit SEO de plus de 200 points signale des problèmes tels que le contenu dupliqué, un fichier robots.txt manquant, des balises méta de robots mal appliquées, un gonflement de l'index, etc. Inscrivez-vous pour une consultation SEO gratuite pour voir comment notre service d'audit SEO peut maximiser votre visibilité en ligne et aider votre entreprise à se développer.