robots.txt

.txt Types de Fichiers

Définition

Un fichier texte placé à la racine d'un site web qui indique aux robots d'exploration quelles pages ou sections doivent ou ne doivent pas être explorées. Suit le standard du protocole d'exclusion des robots.