生成 robots.txt 文件

用表单生成可复制的 User-agent / Disallow / Allow / Sitemap 文本

User-agent #1

Disallow（每行一个路径）

Allow（每行一个路径）

Sitemap URL

robots.txt

User-agent: *
Disallow: /

工具简介

robots.txt 生成器帮你起草包含 User-agent、Disallow、Allow、Sitemap 的 robots.txt。输出在浏览器本地生成，可复制到站点根目录；不会上传你的规则内容。

使用方法

设置 User-agent（常用 *）
填写 Disallow 与 Allow 路径
可选添加 Sitemap URL
按需增加更多 User-agent 块
复制生成结果

常见使用场景

屏蔽预发路径
在禁止 /admin 时放行公开目录
添加 sitemap 声明
上线前起草规则
教学爬虫指令

常见问题（FAQ）

Q1: User-agent 是什么？

指定后续规则适用于哪个爬虫。* 表示所有爬虫。

Q2: Disallow 做什么？

请求匹配的爬虫不要抓取该路径。它不是安全锁。

Q3: Allow 做什么？

在更宽的 Disallow 下，可为支持 Allow 的爬虫重新开放路径。

Q4: Sitemap 是什么？

指向 XML 站点地图的 URL，便于爬虫发现页面。

Q5: 文件会上传吗？

不会。生成在浏览器本地完成。

相关工具

URL 编解码 UTM 链接生成