Quel est le fichier robots.txt?

Lorsque vous créez votre site, vous voudrez probablement qu'il soit sur Google ou d'autres moteurs de recherche.Heureusement, ils ont leurs propres bots ou "chenilles"Cela scope Internet pour indexer des sites. Ces robots peuvent être contrôlés dans la manière dont ils interagissent avec votre site via un fichier texte. Ce serait le robots.txt déposer.Ce fichier contient des règles que les bots qui visitent votre site sont invités à suivre.Cela peut généralement être une bonne chose, mais peut également être une mauvaise chose pour votre note si vous êtes incorrect.

À quoi ressemble un fichier robots.txt?

Voici quelques exemples différents de ce que ce fichier pourrait ressembler à vous.

Permettre à tous les bots un accès complet

Agent utilisateur: * interdire:

Bloquer tout accès pour les bots

Agent utilisateur: * Interdit: /

Définir le délai de rampe à 10 secondes

Agent utilisateur: * Délai de crawl: 10

En définissant un délai d'analyse de 10 secondes, vous limitez ces moteurs de recherche pour indexer votre site Web.Si vous avez un VPS avec une quantité limité de ressources et que vos pages ne sont pas optimisées pour gérer une pointe de trafic Web soudainement, vous pouvez envisager de mettre à niveau votre serveur VPS Cloud pour avoir plus de ressources et l'ajout d'un retard de crawl.

Ce ne sont que quelques modèles très généraux pour le fichier robots.txt.Vous pouvez l'utiliser pour bloquer l'accès à un seul dossier ou même un seul fichier si recherché.Chaque entrée dans le fichier robots.txt aura un champ d'agent utilisateur avec quelque chose à côté de celui-ci.L'astérisque indique un caractère générique, où il s'appliquerait à tous.Si vous souhaitez la définir pour un bot spécifique, vous mettrez cela dans ce champ.Toute ligne après cela s'appliquera à cet agent d'utilisateur jusqu'à ce qu'un nouveau soit spécifié.Par exemple, dans le fichier ci-dessous, pour Google, il bloquerait le dossier / TMP sur le site, mais pour tous les autres robots, tous les dossiers seraient autorisés (y compris le dossier / TMP).

Agent utilisateur: GoogleBot Interdit: / TMP / Agent utilisateur: * Interdit:

Comme vous pouvez le constater, vous pouvez l'utiliser pour empêcher les bots d'indexer des fichiers privés ou même des répertoires inutiles.Bien que la mémorisation des bots existant sur Internet, diverses ressources sont disponibles pour les trouver.

Il y a beaucoup de choses que les robots.txt peuvent faire pour affecter les chenilles du site, mais empêcher l'accès est le plus courant.Les autres options incluent l'option de délai d'analyse.Vous pouvez utiliser cette option pour rendre le délai de bot entre ramper les pages sur le site.

Si vous avez des questions ou si vous souhaitez une assistance, veuillez nous contacter via une chat en direct ou en soumettant un ticket avec notre équipe de support technique.