Robots.txt & 站点地图

生成 robots.txt 和 XML 站点地图，提供验证和最佳实践建议。

免费

快速预设

生效规则

All BotsALLOW

/

All BotsDISALLOW

/admin/

/api/

/private/

添加规则

Bot

选项

站点地图 URL

Crawl Delay (seconds, optional)

robots.txt Output

# Generated by The IT Hustle -- the-it-hustle.com
# robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml

Deployment:

1. Download or copy the file above
2. Save as robots.txt in your site's root directory
3. Verify at your-site.com/robots.txt
4. Test in Google Search Console robots.txt Tester

如何生成 Robots.txt 和站点地图

使用 The IT Hustle 免费生成器，创建 robots.txt 和 XML 站点地图以提升 SEO 效果。

1
输入网站 URL输入网站的基础 URL，自动生成正确的路径。
2
配置抓取规则为不同的爬虫（Googlebot、Bingbot 等）设置允许/禁止规则，并指定抓取延迟。
3
添加站点地图 URL输入页面 URL 以生成 XML 站点地图，或粘贴 URL 列表进行批量生成。
4
下载文件下载可直接上传到网站根目录的 robots.txt 和 sitemap.xml 文件。

常见问题

Robots.txt 是位于网站根目录的文本文件，用于告知搜索引擎爬虫哪些页面可以访问、哪些不可以。它有助于管理抓取预算，防止私密页面被索引。

理想情况下都需要。Robots.txt 控制爬虫可以访问的内容，而站点地图则主动告知爬虫哪些页面存在。两者结合能让搜索引擎最清楚地了解你的网站结构。

两个文件都应放在网站根目录。Robots.txt 必须位于 yourdomain.com/robots.txt，站点地图位于 yourdomain.com/sitemap.xml（并在 robots.txt 中引用）。

Robots.txt & 站点地图

如何生成 Robots.txt 和站点地图

常见问题

相关工具

Robots.txt & 站点地图

如何生成 Robots.txt 和站点地图

常见问题

相关工具