爬虫框架是什么？常见的Python爬虫框架有哪些？.pdf
版权申诉
138 浏览量
2022-11-03
09:09:10
上传
评论
收藏 136KB PDF 举报
爬虫框架是什么？常见的 Python 爬虫框架有哪些？
学习爬虫的人对爬虫框架并不陌生，在爬虫逐渐入门之后，可以有两个选择。
一个是深入学习，比如设计模式相关的一些知识，强化 Python 相关知识，自己动手造轮子，
继续为自己的爬虫增加分布式，多线程等功能扩展。
另一条路便是学习一些优秀的框架，先把这些框架用熟，可以确保能够应付一些基本的爬虫
任务，也就是可以解决基本的爬虫问题，然后再深入学习它的源码等知识，进一步强化。
所以，爬虫框架就是前人积累下来的，可以满足自己爬虫需求，又可以借此提升自己的爬虫
水平。那么，爬虫框架都有哪些呢？
常见 python 爬虫框架
(1)Scrapy:很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知 url pattern 的
情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点
的页面，如 weibo 的页面信息，这个框架就满足不了需求了。
(2)Crawley: 高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为 JSON、
XML 等
资源评论
