Les résultats sont fournis à titre informatif uniquement et peuvent contenir des erreurs. Vérifiez les informations importantes de manière indépendante. L'utilisation de cet outil se fait à vos propres risques.
Ce que fait cet outil
Le générateur de robots.txt crée le fichier robots.txt qui indique aux robots d'exploration des moteurs de recherche quelles parties d'un site ils peuvent visiter. Choisissez Autoriser tous les robots ou Bloquer tous les robots, listez les chemins à exclure de l'exploration (un par ligne, par exemple /admin/) et ajoutez l'URL complète de votre sitemap XML. Les règles s'appliquent à tous les robots (User-agent: *).
Déposez le résultat sous forme de fichier texte brut nommé robots.txt à la racine du domaine, pour qu'il soit accessible à l'adresse https://yourdomain.com/robots.txt. Les robots le lisent avant toute autre chose. Les chemins bloqués ne sont listés que si la règle par défaut est « Autoriser tous les robots », car « Bloquer tous les robots » les couvre déjà.
Quand l'utiliser
- Lancer un site et indiquer son sitemap aux robots d'exploration.
- Tenir les robots à l'écart des chemins d'administration, du panier, des pages de résultats de recherche ou des API internes.
- Bloquer toute exploration d'un site de staging ou de test.
- Réduire le budget de crawl gaspillé sur des URL filtrées ou en double.
Exemple concret
Entrée
Autoriser tous les robots
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xmlSortie
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xmlQuestions sur cet outil
Disallow empêche-t-il une page d'apparaître dans Google ?
Pas de façon fiable. La directive empêche l'exploration, mais une URL bloquée peut quand même être indexée, sans description, à partir de liens sur d'autres sites. Pour exclure une page des résultats de recherche, autorisez plutôt l'exploration et ajoutez une balise meta robots ou un en-tête noindex.
Le robots.txt est-il une mesure de sécurité ?
Non. C'est un fichier public, que les robots respectueux suivent de leur plein gré. Y lister des chemins secrets revient en fait à les signaler. Protégez les zones privées par une authentification.
Comment bloquer les robots d'entraînement d'IA ?
Ajoutez un groupe distinct pour chaque robot à exclure, par exemple User-agent: GPTBot suivi de Disallow: /. Chaque entreprise documente les noms de user-agent qu'utilisent ses robots.
Et si je bloque tout mon site de staging mais que je lance la production avec le même fichier ?
Le site en production est alors bloqué pour les moteurs de recherche. Vérifiez le robots.txt à chaque lancement : un Disallow: / oublié est l'une des causes les plus fréquentes de chute soudaine du trafic.
Cet outil est-il gratuit ?
Oui, il est gratuit. Sans inscription ni e-mail. Résultats directement sur cette page.
Comment obtenir mon résultat ?
Utilisez cet outil sur cette page. Le résultat apparaît ici, sans envoi par e-mail.