网站最近更改了固定链接,就用robots禁止蜘蛛爬之前的动态url了,现在site:网址还是出现了之前收录的动态url,是需要时间吗还是要采取其它的措施
一、应该是百度还没更新过来,写了robots后百度要有一个反应时间,大约1-2周的时间吧
二、这个一般需要很长时间才不收录,我记得之前用了三个多月时间百度才没收录了。
三、一般来说分三个阶段:
第一:刚更改robots文件的这几天,百度还是会继续收录;
第二:三五天之后,百度不会收录动态URL,但是百度快照会回档,你之前几个月的动态URL,使用site查询的时候,还是会出现;
第三:再一到两个星期之后,动态页面会在百度的数据库全部删除,就不会再出现了。具体需要多久多久,需要结合网站以及百度具体的情况分析!
四、亲测:日,robots屏蔽百度蜘蛛,
日,收录未减少。查看日志,百度蜘蛛只访问robots文件和根目录。
五、要等百度识别,robots.txt识别很慢。
六、需要一定周期的,等等
七、我以前也遇到过的,百度不像谷歌更新的快,你需要等一段时间,百度就会删除你的错误链接了~!
八、这么失败啊,先收录了再说吗?
联系客服