为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被百度收录?
百度搜索引擎蜘蛛的访问权限和普通用户是一样的。因此,普通用户没有权限访问的内容,搜索引擎蜘蛛也没有权限访问。之所以看上去某些访问权限限制内容被百度收录,原因有以下两点。
(1 )该内容在搜索引擎蜘蛛访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。
(2)该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直 接访问。而一旦这样的路径被公布在互联网上,则搜索引擎蜘蛛蝴蛛就会符着这条路径抓出受限内容。如果你不希望这些私密性内容被百度收录,一方面可以通过Robots协议加以限制;另一方 面,也可以联系webmaster@baidu.com进行解决。