打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
2分钟带你学会网络爬虫:Excel批量爬取网页数据(详细图文版)

面对网页大量的数据,有时候还要翻页,你还在一页一页地复制粘贴吗?别人需要几小时完成的任务,学会这个小技巧你只需要几分钟就能解决。快来学习使用Excel快速批量地爬取网页数据吧!

1、分析网页数据结构

观察要爬取数据的网页结构,如要获取印尼农药登记数据,打开网页:

http://pestisida.id/simpes_app/rekap_formula_nama.php?s_keyword=&rekap_formula_nama1Page=1

可以看到,我们要获取总共74页的数据,而网页中的参数则代表了不同的参数,在网址中的最后一个参数就是页码数,将“1”改成1-74的数字就是我们要爬取的网址。

2、爬取单个网页数据

1)打开Excel 2019,依次点击“数据”→“自网站”

2)在弹出的“从Web”对话框中选“高级”,在“URL部分”第一栏中输入不含有参数的网址,如:http://pestisida.id/simpes_app/rekap_formula_nama.php?s_keyword=&rekap_formula_nama1Page=,在第二栏中输入1表示抓取第一页的数据,最后点击“确定”。

如果有多个参数,则每个参数设置为一栏。

3)在弹出的“导航器”对话框中,选中左边需要的数据,右边可以预览到抓取的数据,最后点“编辑”,这样就可以抓取到一页网页的数据了。

3、爬取多个网页数据

1)在弹出的“Power Query编辑器”的编辑界面中,依次选择“开始”→“高级编辑器”,在编辑框的“let”前面加入语句“(p as number) as table =>”,并将“源”后面的网页参数“1”换成“(Number.ToText(p))”(不含引号),检查没有语法错误后点击“完成”,返回“Power Query编辑器”的编辑界面。

2)在返回的“Power Query编辑器”的编辑界面中,点击左边的“查询”栏上的箭头“>”,可以修改函数的名称,如“Indonesia Pesticide”。

3)依次点击“开始”→“新建源”→“其他源”→“空查询”,在函数编辑栏中输入“” ,即要爬取的网页数,回车,生成序列,最后点中任意数列的值,选择“到表”,在弹出的“到表”对话框中点击确定即可。

4)选中左边栏的“查询1”,依次点击“添加列”→“调用自定义函数”,弹出“调用自定义函数”对话框中,在“功能查询”下拉菜单中选择刚才命名的函数“Indonesia Pesticide”,其它的会自动填写,点击“确定”就开始爬取网页数据了。

4、保存网页爬取数据

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
40.在Excel中求和、平均数、排序和分类汇总
excel为什么if函数只用两个参数也能计算
掌握Excel中更多的函数,实现复杂数据统计
Excel应用大全 |使用 Power Query 批量收集网站数据
Excel迭代运算的实例及概念
用Excel也可以抓取网页数据?1分钟几万条数据,还可实时刷新
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服