Python 爬虫框架 Scrapy
目 录
目 录 ......................................................................................................................................................................................................................I
第 1 章 Python 爬虫基础 .................................................................................................................................................................................. 1
本章工作任务 .......................................................................................................................................................................................... 1
本章技能目标及重难点.......................................................................................................................................................................... 1
本章学习目标 .......................................................................................................................................................................................... 1
本章学习建议 .......................................................................................................................................................................................... 1
本章内容（学习活动）.......................................................................................................................................................................... 2
第 2 章 爬虫库 ................................................................................................................................................................................................... 42
本章工作任务 ........................................................................................................................................................................................ 42
本章技能目标及重难点........................................................................................................................................................................ 42
本章学习目标 ........................................................................................................................................................................................ 42
本章学习建议 ........................................................................................................................................................................................ 42
本章内容（学习活动）........................................................................................................................................................................ 43
第 3 章 Scrapy 框架 ......................................................................................................................................................................................... 81
本章工作任务 ........................................................................................................................................................................................ 81
本章技能目标及重难点........................................................................................................................................................................ 81
本章学习目标 ........................................................................................................................................................................................ 81
本章学习建议 ........................................................................................................................................................................................ 81
本章内容（学习活动）........................................................................................................................................................................ 82
第 4 章 命令行工具 ........................................................................................................................................................................................ 103
本章工作任务 ..................................................................................................................................................................................... 103
本章技能目标及重难点..................................................................................................................................................................... 103
本章学习目标 ..................................................................................................................................................................................... 103
本章学习建议 ..................................................................................................................................................................................... 103
本章内容（学习活动）..................................................................................................................................................................... 104
第 5 章 Items .................................................................................................................................................................................................. 121
本章工作任务 ..................................................................................................................................................................................... 121
本章技能目标及重难点..................................................................................................................................................................... 121
本章学习目标 ..................................................................................................................................................................................... 121
本章学习建议 ..................................................................................................................................................................................... 121
本章内容（学习活动）..................................................................................................................................................................... 122
第 6 章 Spiders .............................................................................................................................................................................................. 127
本章工作任务 ..................................................................................................................................................................................... 127
II
本章技能目标及重难点..................................................................................................................................................................... 127
本章学习目标 ..................................................................................................................................................................................... 127
本章学习建议 ..................................................................................................................................................................................... 127
本章内容（学习活动）..................................................................................................................................................................... 128
第 7 章 选择器 ................................................................................................................................................................................................ 141
本章工作任务 ..................................................................................................................................................................................... 141
本章技能目标及重难点..................................................................................................................................................................... 141
本章学习目标 ..................................................................................................................................................................................... 141
本章学习建议 ..................................................................................................................................................................................... 141
本章内容（学习活动）..................................................................................................................................................................... 142
第 8 章 管道 .................................................................................................................................................................................................... 156
本章工作任务 ..................................................................................................................................................................................... 156
本章技能目标及重难点..................................................................................................................................................................... 156
本章学习目标 ..................................................................................................................................................................................... 156
本章学习建议 ..................................................................................................................................................................................... 156
本章内容（学习活动）..................................................................................................................................................................... 157
第 9 章 中间件 ................................................................................................................................................................................................ 171
本章工作任务 ..................................................................................................................................................................................... 171
本章技能目标及重难点..................................................................................................................................................................... 171
本章学习目标 ..................................................................................................................................................................................... 171
本章学习建议 ..................................................................................................................................................................................... 171
本章内容（学习活动）..................................................................................................................................................................... 172
第 10 章 爬虫小技巧 ..................................................................................................................................................................................... 185
本章工作任务 ..................................................................................................................................................................................... 185
本章技能目标及重难点..................................................................................................................................................................... 185
本章学习目标 ..................................................................................................................................................................................... 185
本章学习建议 ..................................................................................................................................................................................... 185
本章内容（学习活动）..................................................................................................................................................................... 186
第 1 章 Python 爬虫基础
1
第 1 章 Python 爬虫基础
本章工作任务
➢ 任务 1：为什么学习 Python 爬虫
➢ 任务 2：什么是爬虫
➢ 任务 3：urllib 的应用
➢ 任务 4：cookie 实际应用
➢ 任务 5：正则表达式
本章技能目标及重难点
注： "★"理解级别 "★★"掌握级别 "★★★"应用级别
本章学习目标
本章开始学习 Python 爬虫，需要同学们理解为什么使用爬虫，它的概念、特点。最主要的是需要
大家学会如何使用基础的爬虫库。
本章学习建议
本章适合有 Python 基础的学员学习。
编号
技能点描述
级别
1
为什么学习爬虫
★
2
什么是爬虫
★★
3
urllib 的应用
★★★
4
cookie 实际应用
★★
5
正则表达式
★★
第 1 章 Python 爬虫基础
2
本章内容（学习活动）
1.1 为什么学习 Python 爬虫？
现在信息更新的非常快速，又迎来了大数据的时代， 各行各业如果不与时俱进，都将面临优胜劣汰，
知识是不断的更新的，只有一技之长，才能立于不败之地。
网络爬虫，即 Web Spider，是一个很形象的名字。目前爬虫开发的语言的主要是 Python，本课
程结合几个小的爬虫案例，帮助学员更好的学习爬虫开发。
那么为什么我们要学习 Python 爬虫呢？而不选择 Java？PHP？Nodejs？
1.1.1 Python 语言的流行程度
Spectrum 排名：Python 的排名从去年开始就借助人工智能持续上升，现在它已经成为了第一名。
但排在前四名的语言 Python、C、Java 和 C++都拥有广大的用户群体，并且他们的用户总量也十分相
近。
现在全世界大约有几百万以上的 Python 语言的用户，大家可以看一下以下图片：
