百度是否支持crawl-delay，是否支持使用robots文件控制抓取频率和时间？
2014-09-23 浏览：150
User-agent：Sosospider
Crawl-delay：5
抓取时间和频率限制是否支持呢？
可以在robots中的Crawl-delay中设置，这个参数是baidu spider对网站访问频率的重要参考信息之一，但spider系统会根据网站规模、质量、更新频率等多方面信息综合计算得出最终的执行压力，因此并不保证严格遵守Crawl-delay中的设置值。
上一条: 为什么站内没有链接的私密性网页，或需要访问权限的网页，也会被百度收录？
下一条: 百度是否支持通过robots提交sitemap？