没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
aiolearn Thu Learn Spider for asyncio (PEP-3156) 关于这个项目 之前我完成了thu_learn项目作为清华大学的网络爬虫,但是效率一直是一个问题。 在那个项目中我使用的是requests作为网络库,请求效率虽然不慢,但是由于是阻塞的,会浪费大量的时间在网络等待上。 在这个项目中,我使用了python3.5的asyncio语法换用了异步的aiohttp库作为网络请求,使得爬虫的大部分行为变为异步的。 同时更改了类的结构,将用户及其session作为了类的一部分,使之可以同时处理多用户连接。 由于异步地重构使得库的使用方法大大改变,必须使用异步的方法进行调用,因此有了这个全新的项目。 简单理解 asynico: 通过 async def 来声明的函数为协程函数。协程函数的执行非同步,而是在异步执行,当遇见IO block的时候,如在本项目的网络请
资源推荐
资源详情
资源评论
收起资源包目录
aiolearn-master.zip (24个子文件)
aiolearn-master
.gitignore 733B
aiolearn
Message.py 858B
__init__.py 224B
File.py 260B
User.py 3KB
Semester.py 2KB
Course.py 6KB
config.py 1KB
Work.py 1KB
requirements.txt 39B
.travis.yml 295B
LICENSE 1KB
doc
Makefile 7KB
.DS_Store 6KB
source
index.rst 428B
conf.py 9KB
aiolearn.rst 1KB
modules.rst 61B
examples
__init__.py 0B
login.py 196B
context.py 120B
walk_a_course.py 757B
get_all_courses.py 412B
README.md 2KB
共 24 条
- 1
资源评论
佳同学
- 粉丝: 35
- 资源: 4583
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功