ROBOTSTXT_OBEY = False 粗解

• 爬虫协议，即 robots 协议，也叫机器人协议
  它用来限定爬虫程序可以爬取的内容范围
  通常写在 robots.txt 文件中

• 该文件保存在网站的服务器上
  爬虫程序访问网站时首先查看此文件

• 在 scrapy 项目的 settings.py 文件中
  默认 ROBOTSTXT_OBEY = True ，即遵守此协议
  当爬取内容不符合该协议且仍要爬取时
  设置 ROBOTSTXT_OBEY = False ，不遵守此协议

转自：https://www.jianshu.com/p/19c1ea0d59c2