Python 爬虫实战入门教程 州的先生 zmister.com
目录 ................................................................................................................................................................... 2
第一章：工具准备 ............................................................................................................................................ 3
1.1、基础知识 ................................................................................................................................... 3
1.2、开发环境、 ............................................................................................................................... 3
1.3、第三方依赖库 ........................................................................................................................... 3
1.4、第三方库安装： ....................................................................................................................... 3
第二章：从一个简单的 HTTP 请求开始 ......................................................................................................... 7
2.1、为什么从 HTTP 请求开始 ........................................................................................................ 7
2.2、基本的 HTTP 概念 .................................................................................................................... 9
2.3、用 Python 进行 HTTP 请求 ..................................................................................................... 10
第三章：简单的 HTML 解析——爬取腾讯新闻 ........................................................................................... 12
3.1、爬取腾讯新闻 ......................................................................................................................... 12
第四章：使用 Cookie 模拟登录——获取电子书下载链接 .......................................................................... 17
4.1、使用 Cookie 爬取看看都电子书下载链接 ............................................................................ 18
第五章：获取 JS 动态内容—爬取今日头条 ................................................................................................. 24
5.1、如何处理 JS 生成的网页内容 ................................................................................................ 24
5.2、爬取今日头条 ......................................................................................................................... 25
第六章：提高爬虫效率—并发爬取智联招聘 .............................................................................................. 31
6.1、分析 URL 和页面结构 ............................................................................................................ 31
第七章：使用 Selenium--以抓取 QQ 空间好友说说为例 ............................................................................ 36
7.1、Selenium 简介 ......................................................................................................................... 36
7.2、在 Python 中使用 Selenium 获取 QQ 空间好友说说 ........................................................... 36
7.3、代码简析 ................................................................................................................................. 39
第八章：数据储存——MongoDB 与 MySQL ................................................................................................. 42
8.1、MySQL ..................................................................................................................................... 42
8.2、MongoDB ................................................................................................................................ 47
第九章：下一步.............................................................................................................................................. 50
