打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Crawler:反爬虫之基于urllib库+伪装浏览器方式实现从各种网站上(以百度贴吧为例)获得你喜欢的照片下载到本地电脑上

Crawler:反爬虫之基于urllib库+伪装浏览器方式实现从各种网站上(以百度贴吧为例)获得你喜欢的照片下载到本地电脑上


输出结果

后期更新……

实现代码

import urllib.request<br>import re
import os

def open_url(url):
    req=urllib.request.Request(url)
    req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.90 Safari/537.36 2345Explorer/9.2.1.17116")
    page=urllib.request.urlopen(req)
    html=page.read().decode("utf-8")
    return html

def get_img(html):
    p=r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    imglist=re.findall(p,html)
    for each in imglist: 
        print(each)

    for each in imglist:
        filename=each.split("/")[-1] 
        urllib.request.urlretrieve(each, filename,None)

if __name__=="__mian__":
    url="http://tieba.baidu.com/p/3563409202" 
    get_img(open_url(url))                    

url="http://tieba.baidu.com/p/3563409202"
get_img(open_url(url))   

相关文章
Py之Crawler:利用python的爬虫功能实现从各种网站上(以百度贴吧为例)获得你喜欢的照片下载到本地电脑上

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
Python小程序自动爬取站酷网首页的照片
python爬虫系列(1)——一个简单的爬虫实例
15分钟教你如何快速掌握Python爬虫核心技术,批量爬取网络图片
【数据采集】使用scrapy采集天气网、豆瓣数据信息
分享一个简单的爬虫案例,几十行代码爬取百度贴吧,原理简单易懂
Python爬虫小白入门经典之爬取网上音乐
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服