התוצאות מוצגות לצורכי מידע בלבד ועשויות להכיל שגיאות. מומלץ לאמת מידע חשוב באופן עצמאי. השימוש בכלי הוא באחריותכם בלבד.
מה הכלי עושה
המחולל יוצר את קובץ robots.txt, שאומר לסורקים של מנועי החיפוש לאילו חלקים באתר מותר להם להיכנס. בחרו לאפשר לכל הסורקים או לחסום את כל הסורקים, רשמו נתיבים שרוצים להרחיק מהסריקה (אחד בכל שורה, למשל /admin/), והוסיפו את הכתובת המלאה של מפת האתר (sitemap) בפורמט XML. הכללים חלים על כל הסורקים (User-agent: *).
העלו את התוצאה כקובץ טקסט רגיל בשם robots.txt לתיקיית השורש של הדומיין, כך שיהיה זמין בכתובת https://yourdomain.com/robots.txt. סורקים קוראים אותו לפני כל דבר אחר. נתיבים חסומים נכתבים לקובץ רק כשברירת המחדל היא לאפשר, כי חסימת הכול כבר מכסה אותם.
מתי להשתמש בו
- להשיק אתר ולהפנות את הסורקים למפת האתר שלו.
- להרחיק סורקים מנתיבים של ממשק ניהול, עגלת קניות, תוצאות חיפוש או API פנימי.
- לחסום כל סריקה של אתר staging או של אתר בדיקות.
- לצמצם בזבוז של תקציב הסריקה (crawl budget) על כתובות מסוננות או כפולות.
דוגמה
קלט
Allow all
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xmlפלט
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xmlשאלות על הכלי
האם Disallow מרחיק דף מ־Google?
לא באופן אמין. הוא עוצר את הסריקה, אבל כתובת חסומה עדיין יכולה להיכנס לאינדקס דרך קישורים מאתרים אחרים, בלי תיאור. כדי להרחיק דף מתוצאות החיפוש, אפשרו דווקא סריקה והוסיפו תגית meta או כותרת (header) של robots עם noindex.
האם robots.txt הוא אמצעי אבטחה?
לא. זה קובץ ציבורי, וסורקים מנומסים מצייתים לו מרצונם. רישום נתיבים סודיים בקובץ דווקא מפרסם אותם. הגנו על אזורים פרטיים באמצעות אימות.
איך חוסמים סורקים שאוספים נתונים לאימון AI?
הוסיפו קבוצה נפרדת לכל סורק שרוצים להחריג, למשל User-agent: GPTBot ואחריה Disallow: /. כל חברה מתעדת את שמות ה־user-agent שהסורקים שלה משתמשים בהם.
מה קורה אם חסמתי את כל אתר ה־staging, אבל עליתי לאוויר עם אותו קובץ?
אז האתר החי חסום בפני מנועי החיפוש. בדקו את robots.txt כחלק מכל השקה; Disallow: / שנשכח בקובץ הוא אחת הסיבות הנפוצות ביותר לירידה פתאומית בתנועה.
האם הכלי חינמי?
כן, השימוש חינמי. בלי הרשמה ובלי אימייל. התוצאה מופיעה בדף הזה.
איך מקבלים את התוצאה?
משתמשים בכלי בדף הזה. התוצאה מופיעה כאן, בלי צורך במשלוח לאימייל.