## 基于Webmagic的B站活跃用户数据爬虫（深度遍历) ##
### 技术栈说明 ###
* 爬虫内核： <a herf="http://www.http://webmagic.io/" >Webmagic</a>
* 持久层：JDBC
* 数据库：MySQL
### 程序说明 ###
* 使用深度遍历的方式，爬取B站活跃用户数据；
* B站用户数据接口：http://space.bilibili.com/ajax/member/GetInfo
Post方式获取数据，参数 mid （用户B站ID）；
* 数据跳转：http://space.bilibili.com/xxxxx/#!/fans/fans （xxxxx为mid）
http://space.bilibili.com/xxxxx/#!/fans/follow （xxxxx为mid）
* 详细爬取思路说明：<a href="http://blog.csdn.net/al_assad/article/details/70217621">Al-assad 's CSDN blog</a>
* 关联项目：<a href="https://github.com/Al-assad/Spider-bilibiliuser-full">基于Webmagic的B站用户数据爬虫（广度遍历）</a>
### 爬取数据项 ###
* mid：用户b站ID
* nama：用户昵称
* sex：用户性别
* level：用户等级
* sign：用户签名
* faceUrl：用户头像图像URL
* friends：用户关注数
* fans：用户被关注数
* playNum：用户播放视频数
* birthday：用户生日
* place：用户地点
### 样本数据 ###
百度云 <a href="http://pan.baidu.com/s/1dFchDZj">http://pan.baidu.com/s/1dFchDZj 验证码：b2fi</a>
基于Webmagic的爬取B站活跃用户信息的爬虫资料齐全+文档详细.zip （34个子文件） 
Spider-bilibiliUser-active-master lib JDBC 
mysql-connector-java-5.1.41-bin.jar 970KB WebMagic-0.5 xsoup-0.2.2.jar 38KB commons-lang3-3.1.jar 308KB slf4j-log4j12-1.7.6.jar 9KB jsoup-1.7.2.jar 287KB commons-io-1.3.2.jar 86KB jedis-2.0.0.jar 123KB httpclient-4.4.1.jar 704KB commons-collections-3.2.1.jar 562KB hamcrest-core-1.3.jar 44KB junit-4.11.jar 239KB commons-logging-1.1.3.jar 61KB assertj-core-1.5.0.jar 563KB commons-codec-1.6.jar 227KB json-smart-1.1.1.jar 50KB commons-lang-2.6.jar 278KB webmagic-core-0.5.3.jar 94KB log4j-1.2.17.jar 478KB json-path-0.8.1.jar 65KB slf4j-api-1.7.6.jar 28KB fastjson-1.1.37.jar 348KB commons-pool-1.5.5.jar 98KB guava-15.0.jar 2.07MB webmagic-extension-0.5.0.jar 86KB httpcore-4.4.1.jar 315KB src ado 
BiliUserAdo.java 1KB DBHelper.java 3KB db_init.sql 420B log4j.properties 559B main BiliPageProcessor.java 7KB MyDownloader.java 12KB BiliUser.java 3KB README.md 1KB CSDN 软件 
项目授权码.txt 268B资源评论
