the IT Hustle
ツール実践マニュアル概要

Robots.txt & サイトマップ

バリデーションとベストプラクティスの提案付きで robots.txt と XML サイトマップを生成します。

無料
クイックプリセット
有効なルール
All BotsALLOW
/
All BotsDISALLOW
/admin/
/api/
/private/
ルールを追加
オプション
robots.txt Output
# Generated by The IT Hustle -- the-it-hustle.com
# robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml
Deployment:
1. Download or copy the file above
2. Save as robots.txt in your site's root directory
3. Verify at your-site.com/robots.txt
4. Test in Google Search Console robots.txt Tester

Robots.txtとサイトマップを生成する方法

The IT Hustle の無料ジェネレーターで、SEO向上のためのrobots.txtとXMLサイトマップを作成しましょう。

  1. 1
    サイトのURLを入力するウェブサイトのベースURLを入力すると、正しいパスが自動的に生成されます。
  2. 2
    クロールルールを設定する各種ボット（Googlebot、Bingbotなど）に対する許可・禁止ルールを設定し、クロール遅延を指定します。
  3. 3
    サイトマップのURLを追加するページのURLを入力してXMLサイトマップを生成するか、URLのリストを貼り付けて一括生成します。
  4. 4
    ファイルをダウンロードするサイトのルートディレクトリにアップロードできる状態のrobots.txtとsitemap.xmlをダウンロードします。

よくある質問

robots.txtは、ウェブサイトのルートディレクトリに置かれるテキストファイルで、検索エンジンのクローラーがアクセスできるページとできないページを指定します。クロール予算の管理や非公開ページのインデックス防止に役立ちます。

理想的には両方必要です。robots.txtはクローラーがアクセスできる範囲を制御し、サイトマップはどのページが存在するかを積極的に伝えます。両方を組み合わせることで検索エンジンにサイトの全体像を最も明確に伝えられます。

両方ともウェブサイトのルートディレクトリに配置します。robots.txtはyourdomain.com/robots.txtに、サイトマップはyourdomain.com/sitemap.xmlに配置し、robots.txt内で参照します。

関連ツール

メタタグジェネレーターSEO チェッカー.gitignore