Lenn's Site

浏览器内容加载过程

基础爬虫

网页内容如何加载输入url地址后，找到服务器，服务器返回HTML代码；浏览器将代码在页面上渲染，解释执行。在解释期间，会引发一些列脚本/样式/资源的加载，Javascrip本质上是一种脚本，在浏览器执行；返回的HTML代码就是页面的源代码，但是网站看你会把数据直接放在html中，也可能不放在里

关于cookie

基础爬虫

什么是 cookie http 协议虽然是基于 tcp 协议的应用层协议，但是他是无连接且无状态的。但是我们在实际使用的过程中是需要一个状态的，但是 http 协议不负责维护这个状态。所以浏览器使用本地化的存储来维护状态，在每次发起请求的时候，浏览器会自动携带该状态信息，这个本地化的存储，就

多线程与多进程

基础爬虫

计算机想要运行一个程序. 必须要单独的创建一个进程. 进程是一个资源单位…. 它不是执行单位… 进行中的程序… 进程与进程之间默认情况下是隔离开的… 除了病毒, 杀毒软件/ 破坏性的程序.. 进程中, 有一个执行单位叫线程. 进程是资源单位, 线程是执行单位… 每一个进程在被创建的时候. 默认会有一

数据解析

基础爬虫

正则表达式语法元字符元字符是具有固定含义的特殊符号 | . | 匹配除了换行符以外的任何字符 | | ——– | —————- | | \w | 匹配字符或数字或下划线 | | \s | 匹配空白字符 | | \d | 匹配数字 | | \n | 匹配换行符 | | \t | 匹配制表符 | |

base64

爬虫逆向前置知识

注意：base 64 编码的作用是将字节处理成 b64 的组成！ import base64 s = "abc" bs = s.encode("utf-8") bs64 = base64.b64encode(bs) print(bs) print(bs64) prin

hex

逆向前置知识爬虫

编码 import binascii s = "主业" bs = s.encode("utf-8") print(bs) print(binascii.b2a_hex(bs)) 解码 asi = b'e4b8bbe4b89a' bh = binascii.a2b_hex(as

md5

爬虫逆向前置知识

普通的 md5 算法 from hashlib import md5 s = "123456" mds = md5(s.encode("utf-8")) print(mds.hexdigest()) 普通的 md5 容易被撞库：意思就是说，有一个很大的数据库，里面存储大量（字符串

sha1_sha256_sha512

逆向前置知识爬虫

from hashlib import sha1, sha256, sha512 s = "123456" print(sha1(s.encode("utf-8")).hexdigest()) print(sha256(s.encode("utf-8")).hexdigest())

urlencode

逆向前置知识爬虫

URL 编码最蠢的办法 from urllib.parse import urlencode, urljoin, unquote, quote, quote_plus s = "主业" print(s.encode("utf-8")) print(str(s.encode("utf-8"))

加密算法

逆向前置知识爬虫

对称加密对称加密的意思是加密和解密用的同一个密钥，常见的对称加密算法有：AES，DES 和 3DES；这里我们主要讨论 AES 和 DES。测试网站：https://the-x.cn/cryptography/Aes.aspx AES pip install pycrypto => 很多人装不