Vitesse et fréquence de crawl

Le budget de crawl est le nombre de pages de votre site Web qu'un robot d'indexation parcourra dans un délai donné.

Chaque fois que vous appuyez sur le bouton de publication, Google doit explorer et indexer le contenu pour qu'il commence à apparaître dans les résultats de recherche. Compte tenu de l'échelle et du volume de contenu sur Internet, l'exploration devient une ressource précieuse qui doit être budgétisée et rationnée pour une utilisation plus efficace.

Pour le dire simplement, il est difficile pour Google d'explorer et d'indexer chaque page sur Internet tous les jours. Ainsi, Google parcourt chaque site Web en fonction du budget qui lui est attribué.

2.6.2 Comment le budget de crawl est-il attribué aux sites Web ?

Le budget de crawl est attribué aux sites Web en fonction de deux facteurs : la limite de crawl et la demande de crawl.

Limite d'exploration

Il s'agit de la capacité et/ou de la volonté d'un site Web d'être crawlé.

Tous les sites Web ne sont pas conçus pour être explorés quotidiennement. L'exploration implique que Googlebot envoie des requêtes au serveur de votre site Web qui, si elles sont effectuées trop fréquemment, peuvent mettre à rude épreuve la capacité du serveur.

De plus, tous les éditeurs ne souhaitent pas que leur site soit exploré en permanence.

Demande d'exploration

La demande d'exploration est une mesure de la fréquence à laquelle une page particulière souhaite être (re)explorée. Les pages populaires ou les pages fréquemment mises à jour doivent être explorées et réexplorées plus fréquemment.

2.6.3 Pourquoi les éditeurs devraient-ils se soucier du budget d'exploration ?

Si Google ne peut pas explorer et indexer votre contenu, ce contenu n'apparaîtra tout simplement pas dans les résultats de recherche.

Cela étant dit, les budgets de crawl ne concernent généralement que les éditeurs de taille moyenne à grande qui ont plus de 10 000 pages sur leur site Web. Les petits éditeurs ne devraient pas avoir à se soucier outre mesure des budgets d'exploration.