La semaine dernière, au détour d’une discussion fort intéressante sur le groupe Facebook « communauté francophone sur le SEO » autour des logs serveur et des visites de Google sur des pages web pourtant bloquées par le robots.txt, j’en suis venu à lister les cas où Google visitait une page web.

Dans quels cas Google visite un site ?

Voici une liste non-exhaustive (je peux passer à côté d’un élément, n’hésitez pas à me corriger dans les commentaires) à propos des cas où Google pourrait passer sur une page web :

• Cette page est dans un sitemap
• Cette page est liée sur internet (sans mention nofollow en meta)
• Cette page est visitée / liée depuis un service Google
  • Crawl
  • Analytics
  • Déclaration Webmaster tools
  • Visite depuis chrome (ou ajout des favoris dans chrome) oui oui !
• Cette page est partagée en public sur un réseau social (YouTube, twitter, Facebook etc.)
• Google recherche sur le site des patterns (schémas d’URL que beaucoup de sites ont en commun) et visite donc des pages qui peuvent ne pas exister
• Google a eu connaissance d’une structure différentes du site (même après des mois, il peut revisiter une page pourtant en 404)

Lien entre visite google et indexation:

La conclusion : ne pas se soucier des pages visitées par Google, mais bien de celles indexées et maillées sur le site.  C’est pourquoi il est important de simuler un crawl afin de diagnostiquer les possibles URL défaillantes ou peu pertinentes qui sont maillées et donc suivi afin de les corriger ou neutraliser pour un bon referencement.

Nous allons prochainement consacrer un dossier complet pour déterminer comment faire passer Google sur son site plus souvent. N’hésitez pas à nous suivre sur les réseaux sociaux pour être informés en temps réel.