爬虫协议,即 robots 协议,也叫机器人协议
它用来限定爬虫程序可以爬取的内容范围
通常写在 robots.txt 文件中
该文件保存在网站的服务器上
爬虫程序访问网站时首先查看此文件
在 scrapy 项目的 settings.py
文件中
默认 ROBOTSTXT_OBEY = True
,即遵守此协议
当爬取内容不符合该协议且仍要爬取时
设置 ROBOTSTXT_OBEY = False
,不遵守此协议
转自:https://www.jianshu.com/p/19c1ea0d59c2
联系客服