大数据时代下爬虫技术的兴起 (2013年)

大数据时代下，人类社会的数据正以前所未有的速度增长。问卷调查法、访谈法等传统的数据收集方法，因样本容量小、信度低等局限已无法满足高质量研究的需求，相比较而言，编写爬虫程序获取到的海量数据更为真实、全面，在信息繁荣的互联网时代更为行之有效。因此编写爬虫程序成为大数据时代信息收集的必备技能。本文主要介绍爬虫原理、scrapy爬虫框架，并以歌词爬取为例，详细讲解使用scrapy爬取数据的步骤。