前言

嗨喽！大家好呀，这里是魔王~

课程亮点：

系统分析网页结构
动态数据抓包演示
json数据解析
JS解密

环境介绍：

python 3.8
pycharm >>> 需要安装nodejs插件
Nodejs 解释器用来运行JS代码的

模块使用:

requests >>> pip install requests
execjs >>> pip install pyexecjs

如何安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

如何配置pycharm里面的python解释器?

选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
点击齿轮, 选择add
添加python安装路径

pycharm如何安装插件?

选择file(文件) >>> setting(设置) >>> Plugins(插件)
点击 Marketplace 输入想要安装的插件名字比如:翻译插件输入 translation / 汉化插件输入 Chinese
选择相应的插件点击 install(安装) 即可
安装成功之后是会弹出重启pycharm的选项点击确定, 重启即可生效

爬虫案例基本流程:

一. 数据来源分析

确定采集网站视频, 需要什么数据
通过开发者工具进行抓包, 分析我们想要的数据是那个url地址发送的请求
post 请求 >>> 需要提交data表单数据
分析请求参数变化规律, sign 参数, 每次请求都不一样

第一种方式扣代码:

做JS解密, 其实就扣代码我想要sign参数是哪里来的, 把那一段代码扣下来
运行JS代码, 运行之后, 肯定是会报错的一般情况什么什么没有定义, 缺什么补什么

通过python 去调用JS代码内容从而得到返回数据内容

第二方式直接用python改写JS代码:

二. 代码实现过程: 发送请求, 获取数据, 解析数据, 保存数据

发送请求, 对于翻译接口发送请求
获取数据, 获取服务器返回数据内容
解析数据, 提取我们想要翻译结果

如果想要去做JS解密, 首先就要分析它是那个参数加密的其次呢去分析加密参数是通过那个JS代码生成的,怎么生成的然后就是扣代码

JS逆向里面最简单一个案例...没有之一

代码

# 导入数据请求模块import requests
# 导入格式化输出模块import pprint
# 导入execjsimport execjs
# 导入md5解密模块import hashlib  # 内置模块
# 导入时间模块import time

# 1647329439.9328077# 16473294570110# 16473295059531# m3u8 AES加密while True:
    word = input('请输入你想要翻译的内容(输入0即可退出): ')
    if word == '0':
        break
    # f = open('有道.js', encoding='utf-8')
    # js_code = f.read()
    # compile_code = execjs.compile(js_code)
    # json_data = compile_code.call('youdao', word)
    string = "fanyideskweb" + word + str(int(time.time() * 10000)) + "Ygy_4c=r#e#4EX^NUGUc5"
    sign = hashlib.md5(string.encode('utf-8')).hexdigest()
    # print(json_data)
    url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'  # 确定请求网址
    # headers 请求头 伪装python代码, 如果你不伪装, 就被识别出来是爬虫程序, 从而得不到数据内容
    headers = {
        'Cookie': 'OUTFOX_SEARCH_USER_ID=1092484940@10.169.0.82; OUTFOX_SEARCH_USER_ID_NCOO=1350964471.5510483; JSESSIONID=aaa_jaG1Fa7rPdutNrm_x; ___rl__test__cookies=1647328160933',
        'Host': 'fanyi.youdao.com',
        'Origin': 'https://fanyi.youdao.com',
        'Referer': 'https://fanyi.youdao.com/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36',
    }
    # 表单数据, post请求都是需要提交一个from data 表单数据
    data = {
        'i': word,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': int(time.time() * 10000),
        'sign': sign,
        'lts': int(time.time() * 1000),
        'bv': 'c2777327e4e29b7c4728f13e47bde9a5',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME',
    }
    response = requests.post(url=url, data=data, headers=headers)  # <Response [200]> 200 状态码请求成功 响应对象
    # response.json() 返回json字典数据 键值对取值
    translateResult = response.json()['translateResult'][0][0]['tgt']
    # pprint.pprint(response.json())
    print('翻译的结果: ', translateResult)

视频教程

https://www.bilibili.com/video/BV16Y4y1v7D7?share_source=copy_web

尾语

好了，我的这篇文章写到这里就结束啦！

有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง ·_·)ง

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。