robots.txt 是网站根目录的爬虫指令文件，告诉搜索引擎与 AI 爬虫哪些页面可以抓取、哪些不能。在 GEO 时代，正确放行 AI 爬虫（如 GPTBot、PerplexityBot、Google-Extended）是被 AI 搜索引用的前提。本生成器内置 GEO 最佳实践，避免你误屏蔽 AI 抓取。
本生成器提供可视化表单，你只需勾选要放行或屏蔽的爬虫类别、填写 Sitemap 地址与需要禁止抓取的路径，即可生成符合 robots.txt 协议规范的文本。默认配置会放行主流 AI 爬虫并自动追加 Sitemap 声明，帮助搜索引擎与 AI 系统更快发现你的内容。