Lenn's Site

数据解析

基础爬虫

正则表达式语法元字符元字符是具有固定含义的特殊符号 | . | 匹配除了换行符以外的任何字符 | | ——– | —————- | | \w | 匹配字符或数字或下划线 | | \s | 匹配空白字符 | | \d | 匹配数字 | | \n | 匹配换行符 | | \t | 匹配制表符 | |

逆向前置知识爬虫

注意：base 64 编码的作用是将字节处理成 b64 的组成！ import base64 s = "abc" bs = s.encode("utf-8") bs64 = base64.b64encode(bs) print(bs) print(bs64) prin

爬虫逆向前置知识

编码 import binascii s = "主业" bs = s.encode("utf-8") print(bs) print(binascii.b2a_hex(bs)) 解码 asi = b'e4b8bbe4b89a' bh = binascii.a2b_hex(as

逆向前置知识爬虫

普通的 md5 算法 from hashlib import md5 s = "123456" mds = md5(s.encode("utf-8")) print(mds.hexdigest()) 普通的 md5 容易被撞库：意思就是说，有一个很大的数据库，里面存储大量（字符串

逆向前置知识爬虫

from hashlib import sha1, sha256, sha512 s = "123456" print(sha1(s.encode("utf-8")).hexdigest()) print(sha256(s.encode("utf-8")).hexdigest())

逆向前置知识爬虫

URL 编码最蠢的办法 from urllib.parse import urlencode, urljoin, unquote, quote, quote_plus s = "主业" print(s.encode("utf-8")) print(str(s.encode("utf-8"))

逆向前置知识爬虫

对称加密对称加密的意思是加密和解密用的同一个密钥，常见的对称加密算法有：AES，DES 和 3DES；这里我们主要讨论 AES 和 DES。测试网站：https://the-x.cn/cryptography/Aes.aspx AES pip install pycrypto => 很多人装不

逆向前置知识爬虫

作用：保证数据一致性在发送请求之前, 把url, 请求方式, 参数, 请求头, 随机字符串, 时间…混合在一起. 进行一个计算. 计算出来一个结果, 该过程被称为签名,把该结果随着请求一同发送给服务器(包括随机值, 时间)。此时, 服务器接收到的是url, 请求方式, 参数, 请求头, 随机字符

爬虫逆向前置知识

对称加密的逻辑：加密和解密的密钥相同；最常见的对称加密：AES、DES、3DES 加密；不需要研究加密算法，各个语言都有库。 python 的对称加密需要安装 pycryptodemo 库：pip install pycryptodemo 如果包文件夹是小写 c 改成大写就好了加密过程：

逆向实战爬虫

发送加密逆向这里可以查看发送的拦截器函数，打断点后刷新页面：在发送请求的拦截器函数里打断点，发现和发送参数里一样的 data 变量，找到处理 data 变量的两个步骤，分别打断点：进入对应的函数查看，并打断点，其实到这里就可以发现发送参数的加密过程了：