# ----------------------------------------------------------------------------- # 禁止爬虫爬取无效URL,提升网站核心静态资源抓取及索引效率。 # 无效 URL 包含:已下线产品线的 URL,全动态 URL,需权限验证的 URL,存在问题的旧静态 URL # 等各种无需被 SE 收录的 URL。 # ----------------------------------------------------------------------------- User-agent: * Disallow: /?utm=* Disallow: /agent/signup Disallow: /agent/login Sitemap: https://shangzhibo.tv/sitemap.xml