Awesome-crawler-cn
互联网爬虫，蜘蛛，数据采集器，网页解析器的汇总，因新技术不断发展，新框架层出不穷，此文会不断更新...
交流讨论
欢迎推荐你知道的开源网络爬虫，网页抽取框架.
开源网络爬虫QQ交流群:322937592
email address: liinux at qq.com
Python
- 一种高效的屏幕,网页数据采集框架。
- 基于Scrapy内核由django Web框架开发的爬虫。
- 基于Scrapy内核采用Redis组件的爬虫。
- 基于Scrapy内核采用Redis 和 Kafka 开发的分布式爬虫框架。
- 基于Scrapy内核采用redis, mongodb开发的分布式爬虫框架。
- 一个强大纯python的数据采集系统.
- 一个分布式的爬虫框架.
- 基于PyQuery的微型爬虫框架.
- 一个纯pythonHTML页面
