义乌网站建设首页

百度是否支持crawl-delay,是否支持使用robots文件控制抓取频率和时间?

百度是否支持crawl-delay,是否支持使用robots文件控制抓取频率和时间?

日期:2014-09-23

User-agent:Sosospider
Crawl-delay:5
抓取时间和频率限制是否支持呢?
可以在robots中的Crawl-delay中设置,这个参数是baidu spider对网站访问频率的重要参考信息之一,但spider系统会根据网站规模、质量、更新频率等多方面信息综合计算得出最终的执行压力,因此并不保证严格遵守Crawl-delay中的设置值。

Copyright @ 2008-2025 义乌网站建设公司洲盾
www.gzgscn.com/m/