可视化配置爬虫规则,一键生成 robots.txt 文件
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml