BaseToolbox
搜索工具和博客...
⌘K
Blog
Current theme: System (Light)
简体中文
首页
/
robots.txt 生成器
robots.txt 生成器
为您的网站创建 robots.txt 文件。使用可视化编辑器轻松控制搜索引擎爬虫对网站的访问。
快速预设:
允许所有
阻止所有
标准配置
User-Agent:
Allow
Disallow
Disallow
Disallow
添加规则
添加 User-Agent 组
Sitemap URL
爬取延迟 (秒)
重置
生成的 robots.txt
复制
下载