为什么站内没有链接的私密性网页,或需要访问权限的网页,也会被百度收录?
日期:2014-09-23
百度spider的访问权限和普通用户一样的,因此,普通用户没有权限访问的内容,spider也没有访问权限。之所以看上去某些访问权限限制的内容被百度收录,原因有两点:
(1) 该内容在spider访问时是没有权限限制的,当抓取之后,内容的权限发生了变化。
(2) 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则spider就会循着这条路径抓出受限内容。
如果你不希望这些私密性内容被百度收录,一方面可以通过robots协议加以限制;另一方面,也可以通过反馈中心反馈给我们进行解决。