网站 URL | 相应的 robots.txt的 URL |
http://www.w3.org/ | http://www.w3.org/robots.txt |
http://www.w3.org:80/ | http://www.w3.org:80/robots.txt |
http://www.w3.org:1234/ | http://www.w3.org:1234/robots.txt |
http://w3.org/ | http://w3.org/robots.txt |
例1. 禁止所有搜索引擎访问网站的任何部分 | User-agent: * |
例2. 允许所有的robot访问 (或者也可以建一个空文件 "/robots.txt" file) | User-agent: * |
例3. 禁止某个搜索引擎的访问 | User-agent: BadBot |
例4. 允许某个搜索引擎的访问 | User-agent: baiduspider |
例5.一个简单例子 | User-agent: * |
联系客服