没有合适的资源？快使用搜索试试~ 我知道了~

分布式爬虫

需积分: 14 22 下载量 32 浏览量 2018-03-09 11:24:08 上传评论 3 收藏 26.41MB PDF 举报

温馨提示

试读

107页

分布式爬虫问题其实也就是多台机器多个 spider 对多个 url 的同时处理问题，怎样 schedule 这些 url，怎样汇总 spider 抓取的数据。最简单粗暴的方法就是将 url 进行分片，交给不同机器，最后对不同机器抓取的数据进行汇总。然而这样每个 spider 只能对自己处理的 url 去重，没办法全局的去重，另外性能也很难控制，可能有某台机器很早就跑完了，而别的机器还要跑很久，本文介绍python分布式爬虫技术

资源推荐

资源详情

资源评论

分
布
式
爬
虫
第
一
课
 
静
态网
页
爬
虫
：
爬
虫的
基
础
技
术
 
环
境
搭
建
TCP/IP
四
层
 
与
OSI
七
层
 
HTTP
协
议
 
HTML
及
CSS 
Javascript 
宽
度
及
深
度
抓
取
如
何
记
录
抓
取
历
史
MD5
函
数
 
提
高
效
率
BITMAP 
方
式
记
录
 
pybloomﬁlter 
安
装
 
使
用
 
第
二
课
 
登
陆
及
动
态网
页
的
抓
取
 
XPath 
正则
表
达
式
Python Web 
引
擎
 
安
装
 Selenium PhantomJS 
使
用
 PhantomJS 
来
加
载
动
态
页
面
 
Built-in DOM selector 
Useful Methods & Properties 
Close and Clear 
\ and \ 
PhantomJS 
配
置
 
重
要
的
配
置
-ignore-ssl-errors 
重
要
的
配
置
- load-images 
重
要
的
配
置
- conﬁg 
第
三
课
 
微
博
抓
取
 
使
用
 Selenium + Phantoms 
来
抓
取
 
微
博
接
口
分
析
直
接
调
用
微
博
API
来
抓
取
 
第
四
课
 
多
线
程
 
多
进
程
爬
虫
 
表
单
类
型
form-data 
x-www-form-urlencoded 
urllib2.Request 
表
单登
录
使
用
 urllib2 
的
插
件
功
能
 
CookieJar 
多
线
程
多
线
程
的
优
势
python 
线
程
 
实
现
一
个多
线
程
爬
虫
多
线
程
爬
虫
优
势
、
缺
点
多
进
程
爬
虫
线
程
与
进
程
进
程
间
通
信
Android 
进
程
间
通
信
 Binder 
Android 
进
程
间
通
信
 AIDL 
创
建
多
进
程
爬
虫
Solution A – C/S
模
式
 
Solution B – 
数
据库
模
式
 
C/S v.s. 
数
据库
 
CS 
优
势
: 
数
据库
: 
Python Mysql Connector 
存储
读
取
速
度
第
五
课
 
分
布
式数
据库
及
应用
 
爬
虫的
作
用

将
多
进
程
爬
虫
部
署
到
多
台
主
机
上
爬
虫
原
始数
据
存储
特
点
硬
盘
存储
及
DOM btree
 
google FS
 
HDFS
 
优
势
缺
点
name node
 
data node
 
Python hdfs module
 
存储到
HDFS
 
HBASE
 
行
数
据库
（
mysql
）
 vs 
列
数
据库
 (hbase)
 
HBASE VS HDFS
 
HBASE
 
MongoDB
 
MongoDB Document
 
installation mongodb
 
操
作
命
令
数
据库类
型
Redis Overview
 
Redis Environment Setup
 
python redis
 
mongo
的
优
化
 
Mongo with Redis
 
第
六
课
 
多
机
并
行
抓
取
 
分
布
式
系
统
 
Deduce of Distributed System -I
 
Advantage
 
Challenge 
挑
战
 
分
布
式
爬
虫
系
统
Master-Slave 
结
构
 
Remote Procedure Calls
 
Protocol – Message Type
 
Protocol – Actions
 
Protocol – Key Deﬁnition
 
SOCKET
 
Create Client Socket
 
Create Server Socket
 
Create Server Socket
 
Ways to listen
 
Non-blocking mode listening
 
Ways to end communication 
结
构
标
识
 
串
行
化
处
理
消息
队
列
Mysql 
与
 Redis 
的
同
步
 
容
灾
处
理
第
七
课
 
应
对反
爬
虫
策
略
 
Web
服
务
器
 
服
务
器
处
理
Web 
请求
 
服
务
器
处
理
Web
请求
 
Virtual Host
 
对
爬
虫的
影
响
网
站
反
爬
虫
技
术
如
何
发
现
爬
虫
网
站
如
何
进
行
反
爬
应
对
网
站
的
反
爬
策
略
基
于
IP
的
拒绝
 
基
于
流量
的
拒绝
iptables 
限
制
 
如
何
发
现
自
己
可
能
被
网
站
识
别
了
动
态
IP 
切
换
技
术
 

nofollow 
属
性
 
css 
的
 display 
属
性
 
好
的
规
避
反
爬
虫
检
查
的
方法
第
八
课
 
分
布
式
系
统
的
高
可
用与
高
并
发
处
理
 
墨
菲
定
律
应
对高
并
发
的
基
本
思
路
无
状
态
拆
分
系
统
拆
分
的
原则
负
载
均
衡
负
载
均
衡
的
算
法
一
致
性
hash
 
一
致
性
hash
的
平
衡
性
 
服
务
化
消息
队
列
databus 
架
构
 (linkedIn)
 
数
据
异
构
数
据
异
构
的
实
现
爬
虫的串
行
化
处
理
案
例
：
微
信
的
Feed
流
推
送
 
缓
存
并
发
隔
离
读
写
分
离
 -
性
能
优
势
分
析
 
读
写
分
享
-
主
从
同
步
读
写
分
享
 - HAProxy
 
分
库
分
表
分
库
分
表
的
策
略
限
流
降级
降级
的
启
动
方
式
自
动
化
限
流
降级
第
九
课
日
志
系
统
及基
于
page Rank
的
顺
序
调
整
 
Logger
 
Logger
系
统
基
本
用
途
 
Logger 
系
统
设
计
 
Python 
日
志
系
统
 
Logging.Filter
 
Page Rank
 
背
景
基
本
思
路
模
型
简
单
推
导
迭代
计
算
PR
 
PR 
优
点
 
PR
缺
点
 
PYTHON
的
Page Rank - Network X
 
Url
优
先
级
动
态
排
序
 
数
据库
架
构
流
程
主
要
通
信协
议
Master
及
 Slave 
工
作
 
第
十
课
 
网
页
排
重
 
（
基
本
上
漂
过
,
先
收
藏
）
 
网
页
排
重
重
复
网
页
类
型
查
重
的
目
的
查
重
算
法
 -
文
本
相
似
度
 
simHash
算
法
 
算
法
分
词
hash
 

加
权
合
并
降
维
图
解
意义
simHash + 
海
明
距离
 
计
算
文
本
相
似
度
 
海
明
距离
处
理
数
百
万
的
网
页
两
种
简
单的
暴
力
方法
优
化
查
找
过
程
算
法复
杂
度
准
确
率
与
召
回
率
K 
的
影
响
 
存储
空
间
的
压
缩
压
缩
过
程
解
压
过
程
进
一
步
压
缩
Huffman 
编
码
 
霍
夫
曼
编
码
(Huffman Coding)
 
原
理
编
码
过
程
对
 h  
进
行
霍
夫
曼
编
码
 
网
页
重
排
过
程
第
十
课
 
日
志
、
守
护
进
程
及
验
证
码
处
理
 
Logger 
同
第
九
课
 
日
志
loggger
 
Daemon
 
Daemontool
 
Installation
 
Installaction and Conﬁg
 
create service
 
!/bin/sh
 
Tesseract-OCR
 
Pillow
 
识
别
过
程
找
出
验
证
码
的
色
彩
去
噪
调
用
TesseractOcr 
进
行
识
别
 
图
片
相
似
度
匹配
标
准字
体
的
图
片
图
片匹配
在
线
接
口
的
使
用
 - 
在
线
人
工
服
务
 
第
十
一
课
 
分
布
式数
据库
架
构
分
析
、
优
化
及
要
点
 
数
据库
基
本
概
念
锁
事
务
 ACID
 
死锁
autocommit
 
MySQL 
的
数
据
存储
结
构
 
系
统
框
架及
InnoDB
存储
架
构
 
InnoDB 
存储
框
架
 
Innodb
 
myisam
 
选
择
合
适
的
引
擎
char vs varchar
 
schema
设
计
要
点
 
B+ Tree
 
多
列
索
引
MySQL 
查
询
过
程
 
mysql 
查
询
流
程
 
通
信协
议
查
询
缓
存

MySQL 
的
常
规
优
化
 
优
化
处
理
错
误
的
优
化
执
行
及
返
回
深
翻
页
过
程
、
性
能
影
响
及
优
化
深
翻
页
查
询
过
程
深
翻
页优
化
第
十
二
课
 
自
动
摘
要
及
正
文
抽
取
 
Text-tag Ration
 
利
用
 lxml 
去
除
Javascript 
及
css
 
去
除
所
有
HTML TAG
 
K-Means
 
监
督
学习
和
无
监
督
学习
k-Means 
计
算
 
算
法
优
点
算
法
缺
点
对
数
据
进
行
平
滑
利
用
K-Means
聚类
 
中
心
点
均
值
计
算
过
程
代
码
标
签
模
板
通
用
模
板
与
配
置
使
用
场
景
PyGoose
 
introduction
 
install
 
使
用
第
十
三
课
 
网
页
分
类
与
针
对
文
本
的
机
器
学习
应用
 
分
词
计
算
机
如
何
读
懂
文
本
中
文
分
词
词
搜索
分
词的
歧
义
结
巴
分
词
TF-IDF
 
机
器
学习
与
分
类
算
法
如
何
寻
找
特
征
词
python TF-IDF
 
线性
回归
机
器
学习
与
分
类
算
法
分
类
问题
sigmoid
函
数
 
Logistic
回归
 
Logistic Regression
 
Python
的
 Logistic 
回归
 
SVM
 
线性
分割
核函
数
Python SVM 
文
本
分
类
 
多分
类
器
多个分
类
的
情
况
图
例
OvO VS OvR
 
第
十四
课
信息
检
索
、
搜索
引
擎
原
理
及
应用
倒
排
索
引
核
心
- 
倒
排
表
 
处
理
过
程
正
排
索
引
倒
排
索
引
查
询系
统
Boolean 
模
型
 