第五章 动态网页的挑战.........................................................................................................45
5.1 动态网页的使用场景............................................................................................................................45
5.2 回到与 HTTP 服务器发送请求数据的原始方法..................................................................................45
5.2.1 GET
方法
...........................................................................................................................................45
5.2.2 POST
方法
.........................................................................................................................................48
5.3 更加难以对付的动态网站....................................................................................................................49
5.3.1
应对需要多次数据的交互模拟的网站
..........................................................................................49
5.3.2 Selenium............................................................................................................................................49
5.3.3 PhantomJS
及浏览器
........................................................................................................................49
5.3.4 Selenium + PhantomJS......................................................................................................................51
5.4 关于动态网站信息抓取的总结............................................................................................................51
第六章 表单与爬虫登录问题.................................................................................................53
6.1 关于表单...............................................................................................................................................53
6.2 管理 COOKIE...............................................................................................................................................53
6.2.1
使用
cookie
登录
..............................................................................................................................53
6.2.2 ##
补充知识
cookiejar
的使用
..........................................................................................................54
6.3 关于验证码（CAPTCHA）....................................................................................................................55
第七章 爬虫的持久化问题.....................................................................................................57
7.1 MYSQL.......................................................................................................................................................58
7.2 MONGODB..................................................................................................................................................58
7.2.1
什么是
MongoDB.............................................................................................................................58
7.2.2
怎么在爬虫中使用
MongoDB.........................................................................................................58
7.3 HDFS, HBASE..............................................................................................................................................58
第八章 高效率的爬取数据.....................................................................................................59
8.1 多进程爬虫........................................................................................................................................... 59
8.2 多线程爬虫........................................................................................................................................... 59
8.2.1
关于
GIL............................................................................................................................................59
8.2.2
线程池的出场
..................................................................................................................................59
8.3 关于代理服务器的设置........................................................................................................................59
第九章 大数据量时的去重.....................................................................................................60
9.1 怎么去重...............................................................................................................................................61
9.2 REDIS 数据库.............................................................................................................................................61
9.2.1
关于
Redis.........................................................................................................................................61
9.2.2
实际项目中使用
Redis.....................................................................................................................61
9.3 BLOOMFILTER...............................................................................................................................................61
V
