أداة توليد ملف Robots.txt — مجاني عبر الإنترنت

ولّد ملف robots.txt بقواعد مخصصة لكل روبوت زحف مع الإشارة إلى خريطة الموقع.

النتائج مقدَّمة لأغراض إعلامية فقط وقد تحتوي على أخطاء. يُرجى التحقق من المعلومات المهمة بشكل مستقل. استخدام هذه الأداة على مسؤوليتك الخاصة.

ماذا تفعل هذه الأداة

تنشئ أداة توليد ملف Robots.txt ملف robots.txt الذي يخبر برامج زحف محركات البحث بالأجزاء التي يمكنها زيارتها من الموقع. اختر السماح لجميع برامج الزحف أو منع جميع برامج الزحف، وأدرج أي مسارات تريد إبعادها عن الزحف (مسار واحد في كل سطر، مثل /admin/)، وأضف الرابط الكامل لخريطة موقعك بصيغة XML. تنطبق القواعد على كل برامج الزحف (User-agent: *).

ارفع النتيجة كملف نصي عادي باسم robots.txt إلى جذر النطاق، بحيث يكون متاحًا على https://yourdomain.com/robots.txt. تقرأ برامج الزحف هذا الملف قبل أي شيء آخر. ولا تُدرج المسارات الممنوعة إلا عندما تكون القاعدة الافتراضية هي السماح، لأن خيار منع جميع برامج الزحف يشملها أصلًا.

متى تستخدمها

  • إطلاق موقع وتوجيه برامج الزحف إلى خريطة الموقع.
  • إبعاد برامج الزحف عن مسارات الإدارة وسلة التسوق ونتائج البحث وواجهات API الداخلية.
  • منع الزحف كليًا على موقع ما قبل الإنتاج (staging) أو موقع اختبار.
  • تقليل هدر ميزانية الزحف (crawl budget) على عناوين URL المفلترة أو المكررة.

مثال عملي

المدخلات

السماح لجميع برامج الزحف
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xml

المخرجات

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

أسئلة حول هذه الأداة

هل يُبعد Disallow الصفحة عن Google؟

ليس بشكل موثوق. فهو يوقف الزحف، لكن عنوان URL الممنوع قد يُفهرَس رغم ذلك من خلال روابط في مواقع أخرى، دون وصف. ولإبعاد صفحة عن نتائج البحث، اسمح بالزحف وأضف بدلًا من ذلك وسم meta للروبوتات أو ترويسة بقيمة noindex.

هل robots.txt إجراء أمني؟

لا. إنه ملف عام، وبرامج الزحف الملتزمة تتبعه طوعًا. بل إن إدراج المسارات السرية فيه يُعلن عنها. احمِ المناطق الخاصة بالمصادقة (authentication).

كيف أمنع برامج الزحف التي تجمع بيانات تدريب الذكاء الاصطناعي؟

أضف مجموعة منفصلة لكل برنامج زحف تريد استبعاده، مثل User-agent: GPTBot متبوعًا بـDisallow: /. وتوثّق كل شركة أسماء user-agent التي تستخدمها برامج الزحف الخاصة بها.

ماذا لو منعت موقع ما قبل الإنتاج (staging) كله ثم أطلقت الموقع بالملف نفسه؟

عندها يُحجب الموقع الحي عن محركات البحث. افحص robots.txt ضمن كل عملية إطلاق؛ فبقاء Disallow: / سهوًا من أكثر أسباب الانخفاض المفاجئ في الزيارات شيوعًا.

هل هذه الأداة مجانية؟

نعم، إنها مجانية. دون تسجيل أو بريد إلكتروني. تظهر النتيجة في هذه الصفحة.

كيف أحصل على النتيجة؟

استخدم الأداة في هذه الصفحة. تظهر النتيجة هنا دون الحاجة إلى إرسالها بالبريد الإلكتروني.