打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
python爬虫入门,简单!看这篇介绍就够了,爬取周围感兴趣点

目标:爬取百度地图上的兴趣点

前期准备工作:

1 注册百度地图开放平台账号

2 申请key

3 安装pycharm或者vscode

百度地图的兴趣点检索有三种方式,一种是按照行政区域检索,一种是按照圆形区域检索,还有一种是按照矩形区域检索。三种检索方式本质上是一样的,只是在形式上有所不同,下面小编就以矩形区域检索为例,给大家介绍一下,供大家参考学习。

首先引入request库。requests是使用Apache2 licensed 许可证的HTTP库,用python编写,可以用来爬取网址上的资源。话不多说,下面只需要简单几行代码即可将内容爬取下来。

import requestsdef search(): # 行政区域爬取地址 urlArea = 'http://api.map.baidu.com/place/v2/search?query=ATM机&tag=银行&' 'region=北京&output=json&ak=key' # 矩形区域爬取地址 urlRectangle = 'http://api.map.baidu.com/place/v2/search?query=餐厅&bounds=39.80,116.5,39.90,116.67&' 'output=json&page_size=20&page_num=0&ak=key' # 圆形区域爬取地址 urlCircle = 'http://api.map.baidu.com/place/v2/search?query=银行&location=39.915,116.404&radius=2000&' 'output=json&ak=key' try: # get请求地址解析爬取内容,超时未30s r = requests.get(urlArea, timeout=30) # 如果有错误抛出异常 r.raise_for_status() # 将爬取内容更改为utf-8编码 r.encoding = r.apparent_encoding # 输出爬取内容 print(r.text) except: return '爬取异常'

上面代码中的key是百度开发者中申请的key(如何注册百度地图开放平台、申请key,可自行百度或者关注小编持续为您更新)

其中代码里需要解释的地方在下图中展示

python爬虫

下面展示行政区域地址的爬取结果为

爬取内容

在HIJson中将json字符串格式化更容易查看

格式化json字符串

好了,今天就给大家分享到这里。这里仅展示如何爬取想要的内容,还可以继续对爬取结果进行进一步操作,如将内容格式化编辑后保存到数据库等。限于篇幅这里就不做介绍了。

写在最后,网络爬虫的确能爬到大量的内容,但是这里也会涉及到是否侵权的问题,稍微提一下,在爬取之前可以先看一下网站的Robots协议,哪些内容可以爬取,哪些不可以爬取。总之“盗亦有道”,尽量给自己避免不必要的麻烦。本文例子仅限于学习科研之用。

想要完整代码以及HiJson软件的小伙伴可以关注私信我。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
【数具】Python 百度API 画出美美哒热力地图
python爬取全国主要城市经纬度
太震撼了,我用Python画出全北京的公交线路动图
分享一个简单的爬虫案例,几十行代码爬取百度贴吧,原理简单易懂
28个python爬虫项目,看完这些你离爬虫高手就不远了
Python 爬虫(二):Requests 库
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服