服务器加了硬防之后会不会影响蜘蛛抓取?
日期:2014-09-24
不会,只要是不禁封百度的抓取,并且不写robots,就不会影响。
加硬防后最好观察一下百度spider的抓取情况前后是否有变动,加硬防本身并不会对抓取有什么影响,但是如果配置不当,也会出现意想不到的结果。
原回答地址:http://bbs.zhanzhang.baidu.com/thread-6023-1-2.html
不会,只要是不禁封百度的抓取,并且不写robots,就不会影响。
加硬防后最好观察一下百度spider的抓取情况前后是否有变动,加硬防本身并不会对抓取有什么影响,但是如果配置不当,也会出现意想不到的结果。
原回答地址:http://bbs.zhanzhang.baidu.com/thread-6023-1-2.html
Copyright @ 2008-2025 义乌网站建设公司洲盾
www.gzgscn.com/m/