因为人工智能、自动化、大数据等的发展，Python的优势明显放大，从一个名不经传的小弟，跃居关注热度最高编程语言之一。
发展至今，Python在应用不断涌现：系统运维、图形处理、数学处理、文本处理、数据库编程、网络编程、web编程、多媒体应用、黑客编程、爬虫编写、机器学习、人工智能等等......
那么Python众多应用方向里爬虫是什么？除了数据采集还有其他用处吗？
今天我们重点讲一下网络爬虫，非常厉害的一个应用！
首先我们了解一下：
一、爬虫是什么？
平时生活中会听到很多关于爬虫的信息，但是好像还是很多人很懵圈！昨天有提及到爬虫的应用，今天详细给大家科普一下。
爬虫，即网络爬虫，能够从网络上自动批量地爬取和整理自己需要的信息用于商业分析、调研学习、娱乐生活...
大家可以理解为在网络上爬行的一只蜘蛛！互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到自己的猎物（所需要的资源），那么它就会将其抓取下来。
大家想象一下这个场景，比如这只蜘蛛它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据
因为python的特性，python易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以用python去做爬虫是最适合的编程语言。
如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
爬虫可以抓取某个网站或者某个应用的内容，批量一次性提取有用的价值，礼物上千条评论，上千个标题党，上千张图片，文献。
没有技术的时候，只能傻瓜式操作，一次又一次的重复性操作，耗费大量时间。
但如果交给爬虫，只需要运行你写的爬虫代码，这只蜘蛛就会按照你的需求去自动爬取你需要的上千条数据。
我们可以使用网络爬虫对数据信息进行自动采集。
比如应用于搜索引擎中对站点进行爬取收录，应用于数据分析与挖掘中对数据进行采集，应用于金融分析中对金融数据进行采集。
二、爬虫应用领域
大家几乎每天都使用的搜索引擎🔍，还是通过爬虫🐞都是通过关键字搜集信息，但是，我们使用百度或是Google只能一条条信息去收集和整理，而爬虫能则可以把所有相关的信息全部收集起来。
如果把百度、Google比作骑自行车，每次只能载入一条信息；那爬虫可就是开高铁，可以把信息批量载入，省时省力而且信息会更加全面。
看完上面的介绍你可能想爬虫就是做个信息搜集的工具，如果对信息数据需求并不大也没什么用呀！
酱酱告诉你，并！不！是！
爬虫的作用并不局限于爬取信息，它在互联网，生活，工作上都可以帮助你！我们来仔细爬虫还能玩出什么花样？
1.刚刚结束的双十一嗨购里，你是否往返于淘宝、京东各大购物网站，优惠券叠加，商品比价，凑满减。
同样的一个商品可能在不同网购平台价格不一样，这就催生了。返利网，折多多，折xx等。
那么这些站是如何在几分钟之内甚至秒级的时间内知道一件商品在某站有优惠?
这就需要一个数据采集系统(爬虫)来实时监控各站的价格浮动。先采商品的价格，型号，配置等，在做处理，分析，反馈。如下图，某个优惠券站。当然还有，旅游网站也是这个套路。
2.抢火车票的一把好手，
说不定你过年买下的黄牛贩子手里的票就是靠Python抢到的呢
有图为证，一起来看看一个专业课同学写的抢火车票代码吧
这其实是爬虫课里的一个项目练习
学完爬虫之后今年过年的时候可以试试，写个抢票小程序，使用 Python3 抓取12306网站的 车票信息，及时提醒，自动下单
听说还能抢演唱会票(～o￣3￣)～！
3.舆情系统的应用。
舆情顾名思义就是舆论发展的情况，有正面有负面。利用数据采集技术来监测搜索引擎、新闻门户、论坛、博客、微博、微信、报刊、视频的舆情。
说白了就是用这个来实现实时的发现某一行业或地区的热点事件，譬如清博舆情，百度舆情等等。
三、爬虫延伸的应用
1.用爬虫——城市公交、地铁站点和线路数据采集可视化分析
联网地图上有大量的信息，包含公交、地铁等数据，解析其数据反馈方式，可以通过Python爬虫采集。
首先需要构建传入的参数，主要的包括路线名称，城市编码，地理范围，缩放尺度。地理范围可以通过坐标拾取器获取，参数经url编码后，发送请求，判断返回数据是否符合要求。（会遇到反爬虫机制，需要人工验证）
以下是某一条公交站点和线路的处理后的数据展示
2.爬可视化图
当我们需要用更直观有效的形式来展现各类大数据信息时，热力图无疑是一种很好的方式。作为一种密度图，热力图一般使用具备显著颜色差异的方式来呈现数据效果，热力图中亮色一般代表事件发生频率较高或事物分布密度较大，暗色则反之。
值得一提的是，热力图最终效果常常优于离散点的直接显示，可以在二维平面或者地图上直观地展现空间数据的疏密程度或频率高低。
浏览一下Python程序库目录你会发现无论要画什么图，都能找到相对的库——从适用于眼球移动研究的GazeParser，到用于可视化实时神经网络训练过程的pastalog。
3.爬虫财务报表分析
利用python爬虫爬取数据报表
东方财富网有一个数据中心：http://data.eastmoney.com/center/，该数据中心提供包括特色数据、研究报告、年报季报等在内的大量数据
假如，我们想获取所有股票2018年中的业绩报表数据，然后对该数据进行一些分析。采取手动复制的方法，70多页可以勉强完成。
但如果想获取任意一年、任意季度、任意报表的数据，要再通过手动复制的方法，工作量会非常地大。我们可以利用Selenium自动化技术。
（使用pip来安装selenium包。Python 3.6在标准库中有pip。使用pip安装selenium命令:pip3 install selenium）
1.东方财富网的财务报表数据不用登录可直接获得，Selenium更加方便爬取，
2.先以单个网页中的财务报表为例，表格数据结构简单，可先直接定位到整个表格，然后一次性获取所有td节点对应的表格单元内容。
3.接着循环分页爬取所有上市公司的数据，并保存为csv文件。
重新构造灵活的url，实现可以爬取任意时期、任意一张财务报表的数据。
爬取年报季报类别下，任意一年（网站有数据至今）、任意财务报表数据。
构建好代码，我们所需要做的，仅是简单输入几个字符，其他就全部交给电脑，然后过一会儿打开excel，就可以看到所需数据'静静地躺在那里'，是不是很高效？
爬虫能做很多事，能提高工作效率，能做商业分析，也能做生活助手。无论是从事什么什么行业的，从事运营、策划、销售、HR、金融从业者、电商从业者、创业者...爬虫都有大用处。
今天的分享就到这里结束啦，顺便说一句，完成后续咱们的基础语法课+精进爬虫课，就可以达到爬虫初级工程师的水平喔！也可以做上面酱酱说的事情~
-------结束分割线------
联系客服
