Результати надаються виключно в інформаційних цілях і можуть містити помилки. Перевіряйте важливу інформацію самостійно. Використання цього інструмента здійснюється на ваш власний ризик.
Що робить цей інструмент
Генератор robots.txt створює файл robots.txt, який підказує пошуковим краулерам, які частини сайту їм можна відвідувати. Виберіть Дозволити всіх роботів або Заборонити всіх роботів, перелічіть шляхи, які слід закрити від сканування (по одному в рядку, наприклад /admin/), і додайте повний URL вашої XML-карти сайту. Правила діють для всіх краулерів (User-agent: *).
Завантажте результат як звичайний текстовий файл із назвою robots.txt у корінь домену, щоб він був доступний за адресою https://yourdomain.com/robots.txt. Краулери читають його насамперед. Заблоковані шляхи виводяться лише тоді, коли вибрано «Дозволити всіх роботів», бо «Заборонити всіх роботів» і так їх охоплює.
Коли використовувати
- Запуск сайту й підказка краулерам, де розташована карта сайту.
- Закриття від краулерів адмінки, кошика, сторінок результатів пошуку чи внутрішніх шляхів API.
- Повна заборона сканування staging- чи тестового сайту.
- Економія краулінгового бюджету на відфільтрованих чи дубльованих URL.
Приклад
Введення
Дозволити всіх роботів
Заборонені шляхи: /admin/, /cart/
URL карти сайту: https://example.com/sitemap.xmlВиведення
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xmlЗапитання про цей інструмент
Чи прибирає Disallow сторінку з Google?
Не гарантовано. Він зупиняє сканування, але заблокований URL усе одно може потрапити в індекс через посилання з інших сайтів — без опису. Щоб сторінки не було в результатах пошуку, дозвольте сканування й натомість додайте директиву noindex у мета-тег robots або в HTTP-заголовок.
Чи є robots.txt засобом безпеки?
Ні. Це публічний файл, і сумлінні краулери дотримуються його добровільно. Перелічуючи в ньому секретні шляхи, ви фактично їх рекламуєте. Захищайте приватні розділи автентифікацією.
Як заблокувати краулери, що збирають дані для навчання ШІ?
Додайте окрему групу для кожного краулера, якого хочете виключити, наприклад User-agent: GPTBot, а за ним Disallow: /. Кожна компанія документує назви user-agent своїх краулерів.
Що буде, якщо закрити весь staging-сайт, а потім запустити робочий сайт із тим самим файлом?
Тоді робочий сайт буде закритий для пошукових систем. Перевіряйте robots.txt під час кожного запуску: забутий Disallow: / — одна з найчастіших причин раптового падіння трафіку.
Цей інструмент безкоштовний?
Так, він безкоштовний. Без реєстрації та електронної пошти. Результат на цій сторінці.
Як отримати результат?
Скористайтеся інструментом на цій сторінці. Результат з’явиться тут, без надсилання електронною поштою.