打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
微信公众号订阅号留言点赞采集抓取爬虫

微信小程序公众号订阅号,历史热门文章内容,留言阅读数量点赞数量等数据都可以采集抓取,怎样做?方法会很难吗?楚江数据 p02721606 给你几个微信公众号爬虫,微信数据采集爬取so easy!
1.基于搜狗微信搜索的微信公众号爬虫
a.项目地址:https://github.com/Chyroc/WechatSogou
b.基于搜狗微信搜索的微信公众号爬虫接口开发,可获取文章的临时链接,获取微信公众号的最近10篇文章
2.微信公众号爬虫 (基于中间人攻击的爬虫核心实现,支持批量爬取公众号所有历史文章)
a.项目地址:https://github.com/sundy-li/wechat_spider
b.通过Man-In-Middle 代理方式获取微信服务端返回,自动模拟请求自动分页,抓取对应点击的所有历史文章
3.使用Python实现的微信公众号爬虫
a.项目地址:https://github.com/bowenpay/wechat-spider
4.爬取指定微信公众号的全部历史文章,使用 JS 实现
a.项目地址:https://github.com/iamyy/wechat-spider
b.目前需要手动获取 cookie 等验证信息
5.基于搜狗微信入口的微信爬虫程序,使用Python实现。  
a.项目地址:https://github.com/CoolWell/wechat_spider
b.由基于phantomjs的python实现。使用了收费的动态代理。 采集包括文章文本、阅读数、点赞数、评论以及评论赞数。 效率:500公众号/小时。根据采集的公众号划分为多线程,可以实现并行采集。


访问接口需要的参数:

uin : 用户对于公众号的唯一ID, 本来是一个数字, 传的是base64之后的结果;
key : 与公众号和uin绑定, 过期时间大概是半小时;
pass_ticket: 另外一个验证码, 与uin进行绑定;
req_id: 在文章里HTML里, 每次请求会不一样, 用来构成获取阅读点赞接口的 RequestBody, 一次有效;
获取阅读点赞接口有频率限制, 测试的结果是一个微信号5分钟可以查看30篇文章的阅读点赞
楚江数据 有更多互联网网站app数据采集,爬虫开发技巧及思路,数据、图片批量采集服务!欢迎交流,淘宝搜索店铺“楚江数据”。
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
爬虫如何爬取微信公众号文章
缺数据?这里有一份超实用爬虫操作攻略
传微信300元/年今日全面开放接口,企业能用它们来做啥?
微信服务号每天最高可推送100条图文
微信公众平台
简单介绍一下微信公众号的开发流程
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服