打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
动态网页常用的两种数据加载方式ajax和js动态请求

对于静态网页,我们只需要访问对应的URL就可以获得全部的数据了,动态网页则没有这么简单。比如以下网站

http://q.10jqka.com.cn/zjhhy/detail/code/M/

在浏览器中打开,我们可以看到对应的表格数据

在浏览器中,通过翻页按钮,可以查看不同页面的内容

但是你会发现,在翻页的过程中,页面的url并没有发生变化,这说明这个表格中的数据是动态加载的。目前,常用的动态加载技术有以下两种

1. ajax

2. js

通过构建ajax或者js请求,来获得对应的数据。对于这些动态加载的数据,我们就不能只请求网页的url了,而是需要找到上述两种请求的链接,一些简单的动态加载链接,可以通过浏览器的调试工具来快速查找

1. ajax

ajax请求通过network选项中的xhr请求来查找,在上述网站进行翻页,可以看到如下如下所示的ajax请求链接

直接用爬虫或者ajax链接,就可以返回对应的数据了。

2. js动态加载

js请求通过network选项中的js请求来进行查找,在下列网站中,其翻页的数据就是通过js请求来动态加载的

https://finance.sina.com.cn/stock/reportch/jinqilin.shtml

js请求的示例如下 

通过分析请求的url规律,可以帮助我们批量获取对应的数据连接。对于简单的ajax和js请求,通过浏览器调试工具,可以快速的获取数据。

·end·
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
八爪鱼采集:图片批量采集图文教程
浅谈如何使用python抓取网页中的动态数据
jquery动态加载JS【方法getScript】的改进
采集规则如何排错?
实战|Python轻松实现动态网页爬虫(附详细源码)
JavaScript解析:让搜索引擎看到更真实的网页
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服