# Ju7CMS 前台爬虫规则(本文件按站点根目录发布;换域名时只改最后一行 Sitemap 的主机名) User-agent: * Disallow: /ju7/ Disallow: /manage/ Disallow: /lib/ Disallow: /class/ Disallow: /cache/ Disallow: /data/ Disallow: /log/ Disallow: /block/ Disallow: /comment/ Disallow: /plug/ Disallow: /andvar.asp Disallow: /index.asp? Allow: /upfile/ # 站内搜索结果页是 noindex,follow(见 lib/search.asp),这里不 Disallow, # 否则爬虫看不到 noindex 标记,只能靠重复内容自己判别。 User-agent: Baiduspider Disallow: /ju7/ Disallow: /manage/ Disallow: /lib/ Disallow: /cache/ Disallow: /data/ Disallow: /log/ Disallow: /plug/ User-agent: Googlebot Disallow: /ju7/ Disallow: /manage/ Disallow: /lib/ Disallow: /cache/ Disallow: /data/ Disallow: /log/ Disallow: /plug/ # 换域名时只改下面的主机名。 Sitemap: https://www.576so.com/sitemap1.xml