robots.txt 文件是网站与网络爬虫和其他自动化代理通信的标准方式。 此检查器实现了RFC 9309 (机器人排除协议) 以确保准确的解析和检查。

支持的功能:

• ✅ 用户代理匹配 (不区分大小写)
• ✅ 通配符模式 (* 和 $)
• ✅ 最长匹配规则
• ✅ Allow/Disallow 优先级
• ✅ Crawl-delay 指令
• ✅ Sitemap 指令
• ✅ 注释处理
• ✅ 错误容错处理