奇虎360进军搜索市场之后，百度和360之间的关系似乎更加剑拔弩张。近日，两家公司关于搜索引擎爬虫行为争议再度引发业界关注。有分析人士认为，Robots协议不是行业法规或标准，不存在违反与不违反的问题，更不应该成为用于搜索市场竞争的武器。
2012年8月16日，360正式推出搜索引擎，并在上线6天后，占据中国搜索市场10%的份额，成为仅次于百度的第二大搜索流量来源。但不久，百度对360搜索采取反制措施，将所有来自360搜索的用户请求跳转至百度首页，用户需要二次点击才能得到搜索的结果。
技术专家分析后指出，百度知道、百科、贴吧等产品在Robots文件中禁止360搜索抓取索引。然而，百度仍允许包括谷歌、必应、搜狗、搜搜在内的所有搜索引擎抓取索引百度上述内容。业内人士分析，百度通过Robots协议仅阻止360搜索抓取索引，是把Robots协议当成不正当竞争的工具，目的是打击和封堵360搜索。
单方面强调Robots协议的作用，试图作为限制竞争对手的标准，而百度方面是否也如他们所描述的那样遵守Robots协议呢?之前发生的百度搜索侵犯隐私权案，就认定被告方之一万网公司已按行业惯例在根目录下安装了禁止链接的“Robots协议”，但百度还是抓去了原告的电子邮箱等私密信息。另一起浙江泛亚电子商务有限公司诉百度著作权侵权的案中，同样确认百度公司无视“Robots协议”，违规抓取了原告享有著作权的三首歌曲。
据悉，Robots协议由荷兰籍网络工程师Martijn Koster于1994年首次提出，是一个被放置在网站中的.TXT文件，为搜索引擎爬虫做出提示，设置允许与不允许两种语句，网络爬虫据此“自觉地”抓取或者不抓取该网页内容。
但Robots并不是一个规范，而只是一个约定俗成的协议。Robots协议创始人明确提出Robots协议是一个未经标准组织备案的非官方标准，不属于任何商业组织。如果该协议被当成市场竞争攻击，所有现在和未来的机器人(搜索引擎)不必遵从Robots协议。而百度却此协议当竞争武器间接封杀360。
业内人士认为，Robots是网站为了保护隐私而设计的协议，却被搜索巨头当成狙击新搜索公司的竞争武器，滥用Robots协议，其结果必将造成行业竞争壁垒，导致互联网行业内不公平竞争泛滥，进而导致搜索引擎给网民展现不完整的搜索结果，阻碍搜索市场的自由竞争。(张林)
■专家观点：
“3B”大战是个微不足道的事情，但是这个事情很严重，反映出来互联网公司价值观的缺失，基本的互联网精神他要先过了这关，然后再去考虑法律的问题。比如说三年前，我们大概也就是五千万网民，现在大概五亿多，这个产业确实很大，但是公司基本的互联网精神的缺失导致了互联网这么混乱，现在看来，规则这块还是要有的。
Robots协议是个很好的东西，但是我觉得从这次推Robots协议的手法或目的来看，百度很明显，他希望把它当成一个竞争攻略，为自己建一个竞争壁垒，最好能让每个网站在前面都能搜，百度能搜索都抓取，别人都不能抓取。我觉得这样的话这个事情就变成非常严重的事情，因为我们原来做个网站也没有说什么都是协议，做一个网站肯定是大家可以自由看的，然后搜索引擎可以自由抓取。如果以后我们每个网站都要先定义一下，哪几个网站能让他抓取，哪些能让他看，那互联网基本的信息自由那就完全变味了，整个互联网秩序就乱了。搜索引擎这个扭曲在这个社会也好，在互联网产业也好，影响非常大。我觉得这个事情在搜索引擎行业里真的是越来越严重。
互联网精神真的很重要，如果大的都没有互联网精神，互联网在中国仅仅是一个工具，这不是我们期望看到的。
(方兴东 互联网业界专家 博客中国创始人)
编辑：刘玲敏
责任编辑：刘玲敏
