打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
python爬虫知识点归纳(一)获取登录后页面的三种方式

我们在写爬虫时,有些网页是需要登录后才可以查看到的,按照我们之前直接通过requests的get请求是行不通的。
一下提供三种解决方法:

  1. 先登录网页,添加headers中的cookies键,值为cookie字符串
  2. 在请求方式中添加cookies参数,接受字典形式的cookie,字典形式的键是cookie的name,值是cookie的值
  3. 实例化session,使用session发送post请求,再使用它获取登陆后的页面。
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
小白学 Python 爬虫(10):Session 和 Cookies
Python爬虫requests库教程(三)
python爬虫整理| 原来我曾经拥有过这么多爬虫啊
我的第一个Python爬虫
Python爬虫(学习准备)
【python爬虫】知识体系80页md笔记,0基础到scrapy项目高手,第(2)篇:http协议复习精讲
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服