Die Ergebnisse dienen nur zu Informationszwecken und können Fehler enthalten. Bitte überprüfen Sie wichtige Informationen unabhängig. Die Nutzung dieses Tools erfolgt auf eigene Gefahr.
Was dieses Tool macht
Der Robots.txt-Generator erstellt die Datei robots.txt, die Suchmaschinen-Crawlern mitteilt, welche Bereiche einer Website sie besuchen dürfen. Wählen Sie Alle Crawler erlauben oder Alle Crawler blockieren, listen Sie die Pfade auf, die nicht gecrawlt werden sollen (einen pro Zeile, etwa /admin/), und ergänzen Sie die vollständige URL Ihrer XML-Sitemap. Die Regeln gelten für alle Crawler (User-agent: *).
Laden Sie das Ergebnis als reine Textdatei mit dem Namen robots.txt in das Stammverzeichnis der Domain hoch, sodass sie unter https://yourdomain.com/robots.txt erreichbar ist. Crawler lesen diese Datei vor allem anderen. Blockierte Pfade werden nur aufgeführt, wenn als Standardregel Alle Crawler erlauben gewählt ist, denn Alle Crawler blockieren deckt sie ohnehin ab.
Wann Sie es verwenden
- Sie bringen eine Website live und verweisen Crawler auf ihre Sitemap.
- Sie halten Crawler von Admin-, Warenkorb-, Suchergebnis- oder internen API-Pfaden fern.
- Sie sperren eine Staging- oder Testumgebung vollständig für das Crawling.
- Sie verringern verschwendetes Crawl-Budget für gefilterte oder doppelte URLs.
Beispiel
Eingabe
Alle Crawler erlauben
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xmlAusgabe
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xmlFragen zu diesem Tool
Hält Disallow eine Seite aus Google heraus?
Nicht zuverlässig. Es verhindert das Crawling, aber eine gesperrte URL kann über Links von anderen Websites trotzdem indexiert werden – dann ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, erlauben Sie das Crawling und setzen stattdessen ein noindex-Robots-Meta-Tag oder einen entsprechenden Header.
Ist robots.txt eine Sicherheitsmaßnahme?
Nein. Die Datei ist öffentlich, und nur höfliche Crawler halten sich freiwillig daran. Wer geheime Pfade darin auflistet, macht sie sogar erst bekannt. Schützen Sie private Bereiche mit einer Authentifizierung.
Wie sperre ich KI-Trainings-Crawler?
Legen Sie für jeden Crawler, den Sie ausschließen möchten, eine eigene Gruppe an, zum Beispiel User-agent: GPTBot gefolgt von Disallow: /. Jedes Unternehmen dokumentiert die User-Agent-Namen seiner Crawler.
Was passiert, wenn ich meine gesamte Staging-Site sperre, aber mit derselben Datei live gehe?
Dann ist die Live-Website für Suchmaschinen gesperrt. Prüfen Sie die robots.txt bei jedem Launch; ein vergessenes Disallow: / ist eine der häufigsten Ursachen für plötzliche Traffic-Einbrüche.
Ist dieses Tool kostenlos?
Ja, es ist kostenlos. Ohne Anmeldung und ohne E-Mail. Ergebnisse direkt auf dieser Seite.
Wie erhalte ich mein Ergebnis?
Nutze das Tool auf dieser Seite. Das Ergebnis erscheint hier und wird nicht per E-Mail zugestellt.