没有合适的资源?快使用搜索试试~ 我知道了~
Python多线程爬虫
共19个文件
py:14个
gitignore:2个
md:2个
5星 · 超过95%的资源 需积分: 49 102 下载量 56 浏览量
2016-11-07
14:21:14
上传
评论 6
收藏 33KB ZIP 举报
温馨提示
Python多线程爬虫 功能描述 使用python编写一个网站爬虫程序,支持参数如下: spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5” 参数说明: -u 指定爬虫开始地址 -d 指定爬虫深度 --thread 指定线程池大小,多线程爬取页面,可选参数,默认10 --dbfile 存放结果数据到指定的数据库(sqlite)文件中 --key 页面内的关键词,获取满足该关键词的网页,可选参数,默认为所有页面 -l 日志记录文件记录详细程度,数字越大记录越详细,可选参数,默认spider.log --testself 程序自测,可选参数 具体要求 指定网站爬取指定深度的页面,将包含指定关键词的页面内容存放到sqlite3数据库文件中 程序每隔10秒在屏幕上打印进度信息 支持线程池机制,并发爬取网页 代码需要详尽的注释,自己需要深刻理解该程序所涉及到的各类知识点 需要自己实现线程池 使用方法 #起始地址新浪,下载2级,使用10个线程,保存到sina.db python main.py -u http://www.sina.com.cn -d 1 --thread 10 --dbfile sina.db
资源推荐
资源详情
资源评论
收起资源包目录
python-spider-master.zip (19个子文件)
python-spider-master
dqw-spider
utils
save.py 1KB
pool.py 4KB
parser.py 1KB
progress.py 918B
__init__.py 0B
spider.py 2KB
main.py 2KB
README.md 90B
.gitignore 21B
LICENSE 0B
other
spider.v1.py 9KB
spider.v3.py 11KB
spider.v4.py 9KB
spider.v6.py 12KB
spider.v5.py 10KB
spider.v2.py 9KB
README.md 1KB
.gitignore 0B
spider.v7.py 11KB
共 19 条
- 1
资源评论
- rabbit07082019-02-13感谢楼主啊!
GeekyGuru
- 粉丝: 1593
- 资源: 1099
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功