打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Seo之于cdn服务,雅虎军规与Baiduspider

引子:

1:最近在某互联网营销社区看到一个帖子(光年社区),讲的是网站抓取下降的厉害,缩水9成。题主之言是网站使用了CDN的问题,理由也很直白:cdn的动态ip造成百度蜘蛛抓取困难,导致收录下降。

2:前段时间,Seo party QQ群的某小伙伴网站联通出现问题,我顺便ping了一下域名,发现前后10分钟内其ip变了3次。当时颇为惊讶,细想一下肯定也是cdn惹的祸。

那么问题来了:是否应该对网站设置cdn服务?

正方观点:

雅虎作为搜索服务的先驱,在网站使用cdn服务上还是比较推崇的。对于web前端来说,网站页面加载速度是十分重要的。这也体现了搜索引擎为人服务的精神,毕竟一个打开都费劲的页面,首先就会流失相当一部分用户,起码展示率是很有问题的,更遑论转化率了。

网页前端制作人员都熟悉的一项内容就是“雅虎军规”,其中就直言,应该对于网站应用cdn服务,以便于不同区域用户都可以不受地域网络环境的影响,流畅的访问网站。

Yslow——一款源于雅虎军规而设计的用以检测页面加载速度的浏览器插件,其中更是将cdn服务作为其一项评分标准。

反方观点:

百度作为国内互联网搜索的唯一巨头,无疑在业内具备独一无二的话语权。在百度spider工程师有关cdn问题的回答中,我们能够提取出以下信息:

Cdn的动态ip确实无法被baiduspider有效抓取,原文搬运如下:“CDN这里存在一个问题:不同的CDN服务商在全国分布的节点数不同,站点在使用CDN服务时,同一地区CDN给蜘蛛返回的IP地址要和给用 户的一致。那么现实情况是,部分CDN服务商出于成本考虑与资源使用率的问题,会在不告知用户的情况下变更IP地址以节约成本,这样就导致蜘蛛在去抓的时 候,会遇到新IP和老IP的问题,在站点没有告知更换IP的情况下,蜘蛛会认为站点目前存在问题,首先是减少抓取量,其次会判断是否把不可访问的页面下掉。”

百度给出的建议是利用站长平台对于ip变更的情况作为错误报告提交给百度:

恕笔者吐槽:cdn服务商随意变更ip的问题很明显是基于其运营能力的不足,这种本来就带有随意性的行为,一般都不会负责任的告知网站站长,那么对于站长而言又如何监督呢?而且cdn节点千千万,谁又能不遗余力的投入如此大的精力来对付费服务进行人为监管,并实时提交百度处理。?明显这种方法是不具备操作性的。

总结陈词:

对于必须使用cdn服务的网站,尽量选择口碑和实力俱佳的cdn服务商,提高cdn服务的稳定性,不至于太过频繁和随意的变更ip。

百度应该改善抓取策略,毕竟依靠ip段给蜘蛛分配抓取任务的模式,似乎不太合理。毕竟 依靠url抓取页面信息才是搜索原理的基础,这种跳过解析的方法或许技术上没有问题,但是作为seoer的我怎么感觉有点别扭。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
【流量异常排查——运维篇】
根据查看网站访问日志发现百度蜘蛛爬行规律 | V说
百度蜘蛛如何更好的抓取和识别网站
2021年,百度不收录,如何快速收录,就看这篇吧!
站长必看的14条SEO新理论
百度官方VIP大讲堂QA集锦——抓取建库篇~转走吧,对站长有帮助。
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服