Результаты предоставляются исключительно в информационных целях и могут содержать ошибки. Проверяйте важную информацию самостоятельно. Использование этого инструмента осуществляется на ваш страх и риск.
Что делает этот инструмент
Генератор robots.txt создаёт файл robots.txt, который сообщает краулерам поисковых систем, какие разделы сайта им можно посещать. Выберите Разрешить всех роботов или Запретить всех роботов, перечислите пути, которые нужно исключить из обхода (по одному на строку, например /admin/), и добавьте полный URL вашей XML-карты сайта. Правила действуют для всех краулеров (User-agent: *).
Загрузите результат как обычный текстовый файл с именем robots.txt в корень домена, чтобы он был доступен по адресу https://yourdomain.com/robots.txt. Краулеры читают его раньше всего остального. Запрещённые пути выводятся только при правиле по умолчанию «Разрешить всех роботов», потому что «Запретить всех роботов» уже их охватывает.
Когда использовать
- Вы запускаете сайт и хотите указать краулерам на карту сайта.
- Нужно закрыть от краулеров админку, корзину, страницы результатов поиска или внутренние пути API.
- Нужно полностью запретить обход staging- или тестового сайта.
- Нужно сэкономить краулинговый бюджет, который тратится на отфильтрованные и дублирующиеся URL.
Пример
Ввод
Разрешить всех роботов
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xmlВывод
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xmlВопросы об этом инструменте
Скрывает ли Disallow страницу от Google?
Не гарантированно. Директива останавливает обход, но заблокированный URL всё равно может попасть в индекс по ссылкам с других сайтов — без описания. Чтобы убрать страницу из результатов поиска, разрешите обход и добавьте директиву noindex в мета-тег robots или в HTTP-заголовок.
Является ли robots.txt средством защиты?
Нет. Это публичный файл, и добросовестные краулеры соблюдают его добровольно. Перечисляя в нём секретные пути, вы фактически их рекламируете. Закрытые разделы защищайте аутентификацией.
Как заблокировать краулеры, собирающие данные для обучения ИИ?
Добавьте отдельную группу для каждого краулера, которого хотите исключить, например User-agent: GPTBot, а за ней Disallow: /. Каждая компания публикует имена user-agent своих краулеров.
Что будет, если я закрыл весь staging-сайт, а затем запустил рабочий сайт с тем же файлом?
Тогда рабочий сайт закрыт для поисковиков. Проверяйте robots.txt при каждом запуске: забытый Disallow: / — одна из самых частых причин внезапной потери трафика.
Этот инструмент бесплатный?
Да, он бесплатный. Без регистрации и электронной почты. Результат на этой странице.
Как получить результат?
Используйте инструмент на этой странице. Результат появится здесь, без отправки по электронной почте.