Python爬虫应用指南之基础知识
需积分: 10 125 浏览量
2023-03-21
20:54:21
上传
评论
收藏 275KB DOCX 举报
Python 适合在诸多领域的应用，作为软件测试从业者，具备一定的自动化测试基础，再去
开展 Python 爬虫工程应用是更加有优势的。
本系列《Python 爬虫应用指南》为笔者结合多年自动化测试实践，结合未来自动化测试发
展而编写的系列文章，主要梳理笔者在学习和工作中实践爬虫技术的精华集合。
本文主要从以下几个方面来说明基于 Python 实践爬虫技术：
HTTP 协议基础
Web 页面结构
爬虫基本原理
Session 和 Cookie 基础
代理基本原理
HTTP 协议基础
你可以通过之前发布的《从零开始理解 HTTP 协议及报文分析》来深入学习 HTTP 协议，这
篇文章有助于你从 HTTP 机制和报文结构方面深入理解什么是 HTTP 协议。
本节就 HTTP2.0 进行介绍，方便大家进一步了解 HTTP 的发展历史和特性。
HTTP2.0 发布于 2015 年，相对 HTTP1.1 来说，HTTP2.0 更快、更简单、更稳定。尤其是在传
输层做了大量的优化，HTTP2.0 的主要目标是：改进传输性能，实现低延迟和高吞吐量。
由于 HTTP2.0 内部实现了新的二进制分帧层，与之前的 HTTP1.0/HTTP1.2 不兼容了，这个是
大家要重点注意的地方。
二进制分帧层
HTTP2.0 的核心特性就在于这个新实现的二进制分帧层，在 HTTP1.X 中，不管是请求
（request）还是响应（response），都是基于文本格式传输的，而且其头部（headers）和
实体（body）之间是通过换行符进行分割的，而 HTTP2.0 则进行了优化改进，将文本传输模
式改为了二进制格式，由于二进制格式利用率更高，组织方式更加灵活，使得在 HTTP2.0 中，
解析起来更加高效，同时将请求（request）/响应（response）数据分割为更小的帧，并均
采用二进制编码。
在这里需要大家了解几个概念：
帧：只存在于 HTTP2.0 中，是数据传输的最小单位。
数据流：虚拟通道，可以承载双向消息，每个数据流用一个唯一的整数 ID 来标识
消息：与逻辑请求或响应消息对应的完整的系列帧
在 HTTP2.0 中，同域名下的所有通信都可以在单个连接上完成（注：在 HTTP1.X 中，有多个
连接，这是二则的表现区别，大家注意一下），该连接可以承载任意任意的双向数据流。
资源评论
