新浪微博数据挖掘方案 (2011年)

随着新浪微博用户群体的增长，新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率，获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用，解决了因API接口开放不完善，且因在返回结果数量上限与调用频率方面的限制，导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试，通过2套方案的结合可以实现新浪微博数据高效全面的获取。