Robots.txt生成ツール — 無料オンライン

クローラーごとのカスタムルールとサイトマップ参照を含むrobots.txtファイルを生成します。

結果は情報提供のみを目的としており、誤りを含む場合があります。重要な情報は必ずご自身で確認してください。本ツールのご利用は自己責任でお願いいたします。

このツールでできること

Robots.txt生成ツールは、サイトのどの部分を検索エンジンのクローラーが巡回してよいかを伝えるrobots.txtファイルを作成します。すべてのクローラーを許可またはすべてのクローラーを禁止を選び、クロール対象から外したいパスを（/admin/のように1行に1つずつ）入力し、XMLサイトマップの完全なURLを追加してください。ルールはすべてのクローラー（User-agent: *）に適用されます。

結果はrobots.txtという名前のプレーンテキストファイルとしてドメインのルートにアップロードし、https://yourdomain.com/robots.txtでアクセスできるようにしてください。クローラーは何よりも先にこのファイルを読みます。ブロックするパスが出力されるのは、デフォルトがすべてのクローラーを許可の場合だけです。すべてのクローラーを禁止なら、それらのパスもすでに対象に含まれているためです。

こんなときに使えます

  • サイトを公開し、クローラーにサイトマップの場所を伝えるとき。
  • 管理画面、カート、検索結果、内部APIのパスをクローラーから除外するとき。
  • ステージング環境やテストサイトのクロールを全面的にブロックするとき。
  • 絞り込み結果や重複URLでクロールバジェットが無駄になるのを減らすとき。

使用例

入力

すべてのクローラーを許可
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xml

出力

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

このツールについての質問

Disallowを指定すれば、Googleにページが載らなくなりますか？

確実ではありません。クロールは止まりますが、ブロックされたURLでも、他サイトからのリンクをもとに説明文なしでインデックスされることがあります。ページを検索結果から除外したい場合は、クロールを許可したうえで、noindexのrobotsメタタグまたはヘッダーを追加してください。

robots.txtはセキュリティ対策になりますか？

なりません。robots.txtは公開ファイルであり、行儀のよいクローラーが自主的に従っているにすぎません。秘密のパスを書けば、かえってその存在を知らせることになります。非公開の領域は認証で保護してください。

AIの学習用クローラーをブロックするには？

除外したいクローラーごとに個別のグループを追加します。たとえばUser-agent: GPTBotの後にDisallow: /を続けます。各社は、自社のクローラーが使うユーザーエージェント名をドキュメントで公開しています。

ステージングサイト全体をブロックしたファイルのまま公開してしまったら？

本番サイトが検索エンジンからブロックされてしまいます。公開のたびにrobots.txtを確認してください。消し忘れたDisallow: /は、突然のトラフィック減少の原因として最もよくあるものの1つです。

このツールは無料ですか？

はい、無料でご利用いただけます。登録・メールアドレス不要。結果はこのページに表示されます。

結果はどこで確認できますか？

このページでツールを使用すると、結果がここに表示されます。メールで受け取る必要はありません。