Pour bloquer l'accès de votre site à tous les robots et moteurs de recherche (« Disallow all »), il suffit d'un fichier robots.txt contenant ces deux lignes :
User-agent: *
Disallow: /
En bref : déposez à la racine du site un robots.txt contenant User-agent: * et Disallow: /. Seuls les robots qui respectent ce protocole le suivent : pour fermer vraiment l'accès, protégez le site par mot de passe avec Protection des répertoires.
Prérequis
- Pouvoir déposer un fichier
robots.txt à la racine de votre site (par FTP ou par le gestionnaire de fichiers).
Que fait ce fichier ?
La première ligne signifie que l'instruction en dessous s'applique à tous les robots. La seconde ligne bloque tout ce qui est accessible dans le domaine : tous les répertoires, dossiers, pages et fichiers.
Cette règle n'est suivie que par les robots qui respectent le protocole robots.txt (Google, Bing, etc.). Des robots malveillants ou ne suivant pas les règles du robots.txt pourront toujours accéder au contenu du site.
Le Disallow empêche-t-il l'indexation des pages ?
L'instruction Disallow empêche l'exploration du site, mais pas l'indexation de ses pages. Même avec un Disallow total, Google peut donc indexer une adresse qu'il connaît par un lien extérieur, sans en lire le contenu.
Pour retirer des pages des résultats de recherche, faites l'inverse : laissez les robots explorer ces pages (pas de Disallow) et ajoutez-y la balise meta robots noindex. Un robot qui n'explore pas une page ne lit jamais sa balise noindex : les deux méthodes ne se combinent donc pas sur une même page.
Comment fermer réellement l'accès au site ?
Pour être certain de bloquer la totalité du site, protégez-le par mot de passe. La console Apanel le fait sans fichier à écrire : dans la Gestion de l'hébergement, section Site web, ouvrez Protection des répertoires, protégez la racine du site et ajoutez un utilisateur dans l'onglet Restrictions par utilisateurs. Le serveur répond alors par un code HTTP 401 (« Unauthorized », une authentification est nécessaire pour accéder à la ressource) à tout visiteur sans identifiants, robots compris.
En cas de problème
- Le fichier semble ignoré : vérifiez qu'il s'appelle exactement
robots.txt, en minuscules, et qu'il s'affiche à l'adresse https://votre-domaine/robots.txt.
- Des pages restent dans les résultats de Google malgré le Disallow : c'est le cas décrit plus haut. Retirez le Disallow sur ces pages et utilisez la balise
noindex, ou fermez l'accès par mot de passe.
Pour aller plus loin