weibo-spider
============
新浪微博爬虫,采用Java语言开发,基于HTTPClient 4.0,采用MySQL存储爬取数据,支持多进程并发执行。功能包括:爬取微博、评论、转发、关注列表(层次)。根据数据需求,持续更新...
没有合适的资源?快使用搜索试试~ 我知道了~
基于Java + HTTPClient 4.0,采用MySQL存储爬取数据,支持多进程并发执行的新浪微博爬虫
共59个文件
java:40个
jar:10个
prefs:2个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 148 浏览量
2024-10-06
10:10:51
上传
评论
收藏 2.35MB ZIP 举报
温馨提示
【作品名称】:基于Java + HTTPClient 4.0,采用MySQL存储爬取数据,支持多进程并发执行的新浪微博爬虫 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】:新浪微博爬虫,采用Java语言开发,基于HTTPClient 4.0,采用MySQL存储爬取数据,支持多进程并发执行。功能包括:爬取微博、评论、转发、关注列表(层次)。 新浪微博爬虫,采用Java语言开发,基于HTTPClient 4.0,采用MySQL存储爬取数据,支持多进程并发执行。功能包括:爬取微博、评论、转发、关注列表(层次)。 【资源声明】:本资源作为“参考资料”而不是“定制需求”,代码只能作为参考,不能完全复制照搬。需要有一定的基础能够看懂代码,能够自行调试代码并解决报错,能够自行添加功能修改代码。
资源推荐
资源详情
资源评论
收起资源包目录
weibo-spider-master.zip (59个子文件)
weibo-spider-master
.DS_Store 6KB
lib
httpmime-4.0.1.jar 25KB
json.jar 117KB
jsoup-1.7.2.jar 287KB
httpclient-4.0.1.jar 284KB
log4j-1.2.17.jar 478KB
apache-mime4j-0.6.jar 337KB
commons-logging-1.1.1.jar 59KB
mysql-connector-java-5.1.10-bin.jar 707KB
httpcore-4.0.1.jar 169KB
commons-codec-1.4.jar 57KB
.classpath 912B
.settings
org.eclipse.jdt.core.prefs 617B
org.eclipse.core.resources.prefs 124B
src
cn
edu
zju
ccnt
spider
worker
LoginWeiboBackup.java 4KB
BasicWorker.java 5KB
impl
UrlFollowWorker.java 4KB
UrlAbnormalWeiboWorker.java 3KB
UrlCommentWorker.java 3KB
UrlWeiboWorker.java 3KB
UrlRepostWorker.java 3KB
LoginWeibo.java 11KB
handler
NextUrlHandler.java 7KB
ManualRedirectHandler.java 650B
utils
Utils.java 17KB
FetcherType.java 298B
DBConn.java 616B
Constants.java 1KB
LogType.java 236B
queue
WeiboUrlQueue.java 817B
RepostUrlQueue.java 860B
VisitedFollowUrlQueue.java 564B
AbnormalAccountUrlQueue.java 501B
FollowUrlQueue.java 860B
VisitedWeiboUrlQueue.java 561B
AccountQueue.java 661B
CommentUrlQueue.java 868B
VisitedCommentUrlQueue.java 591B
VisitedRepostUrlQueue.java 586B
fetcher
WeiboFetcher.java 3KB
FolloweeFetcher.java 3KB
CommentFetcher.java 3KB
RepostFetcher.java 3KB
parser
RepostParser.java 4KB
FollowParser.java 3KB
CommentParser.java 3KB
WeiboParser.java 4KB
bean
Weibo.java 1KB
Comment.java 1KB
Follow.java 507B
Page.java 568B
Repost.java 970B
Account.java 500B
WeiboSpiderStarter.java 5KB
log4j.properties 608B
database
sina_weibo.sql 4KB
.project 371B
conf
spider.properties 386B
README.md 272B
共 59 条
- 1
资源评论
小英子架构
- 粉丝: 1010
- 资源: 4042
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功