Python网络爬虫师必备知识

　　学习爬虫，我们首先要了解什么是爬虫以及它的工作流程，知己知彼，方能百战百胜嘛。当然这些大家都知道的，废话不多说，先来看看爬虫工程师必学部分。

　　暂且把目标定位初级爬虫工程师，简单列一下吧：(必要部分)

　　熟悉多线程编程、网络编程、HTTP协议相关

　　开发过完整爬虫项目(最好有全站爬虫经验，这个下面会说到)

　　反爬相关，cookie、ip池、验证码等等

　　熟练使用分布式

　　了解企业级爬虫和个人爬虫的差异(企业级爬虫，首先在数据量上跟我们平时学习的时候爬虫，不是同一数量级，数据量大很多。其次，企业级爬虫代码一般部署到专门的爬虫服务器上，采取7*24小时运行，所以需要日志监控，异常维护。)

　　知道什么是深度优先，广度优先的抓取算法，及实践中的使用规则;

　　能分析简单网站的结构，会使用urllib，urllib2或requests库进行简单的数据抓取;