神级程序员总结最全爬虫入门资料（九点）掌握此篇爬虫兼职随你找

最近总是要爬取一些东西，索性就把Python爬虫的相关内容都总结起来了，自己多动手还是好。

二，保存爬取的图片/视频和文件和网页

#图片/视频和文件和网页的地址抓取下来后，利用模块urllib里的urlretrieve()方法下载下来：

四，处理验证码登录

#先把验证码图片下载下来保存，再人工读入

六，全网爬虫

#广度优先，模拟爬取队列

七，某个网站的站内所有目录爬虫

#把缩写的站内网址还原

八，多线程

#对列和线程的结合

九,爬虫框架Scrapy

items.py：用来定义需要保存的变量，其中的变量用Field来定义，有点像python的字典

pipelines.py：用来将提取出来的Item进行处理，处理过程按自己需要进行定义

spiders：定义自己的爬虫,小编推荐大家加一下这个群：103456743这个群里好几千人了！大家遇到啥问题都会在里面交流！而且免费分享零基础入门料资料web开发 爬虫资料一整套！是个非常好的学习交流地方！也有程序员大神给大家热心解答各种问题！很快满员了。欲进从速哦！各种PDF等你来下载！全部都是免费的哦！只为帮助大家快速入门，所以小编在群里等你们过来一起交流学习呢！

如有侵权请联系小编删除！