# JSpider
一个在看了WebMagic源码后,自己为了练手开发的爬虫项目。很多地方受到WebMagic的影响,但是也其中也有自己对一个爬虫框架的想法。
没有合适的资源?快使用搜索试试~ 我知道了~
分布式多线程爬虫框架.zip
共81个文件
java:64个
txt:8个
prefs:3个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 136 浏览量
2024-03-08
11:43:15
上传
评论
收藏 2.44MB ZIP 举报
温馨提示
分布式多线程爬虫框架.zip
资源推荐
资源详情
资源评论
收起资源包目录
分布式多线程爬虫框架.zip (81个子文件)
SJT-code
.classpath 849B
.settings
org.eclipse.jdt.core.prefs 238B
org.eclipse.core.resources.prefs 115B
org.eclipse.m2e.core.prefs 86B
pom.xml 2KB
src
test
java
com
myway5
www
FilePersistenceClient
SecondFilter.java 2KB
FirstFilter.java 1KB
SpiderManager.java 2KB
readme.txt 45B
scanTool
FirstFilter.java 2KB
Scan.java 4KB
readme.txt 132B
iotest
MD5.java 404B
Nio.java 100B
io.txt 17.05MB
NoIoTest.java 2KB
IoTest.java 2KB
searchEngine
FirstFilter.java 787B
RedisClient.java 611B
Config.java 359B
SocketClient.java 2KB
HtmlDocument.java 2KB
MMongoClient.java 635B
DocumentEntry.java 981B
readme.txt 53B
SearchSpider.java 2KB
RedisPersistenceClient
SecondFilter.java 2KB
FirstFilter.java 1KB
SpiderManager.java 2KB
readme.txt 53B
client
SecondFilter.java 2KB
ThirdFilter.java 391B
FirstFilter.java 1KB
SpiderManager.java 2KB
readme.txt 145B
privateConstruct
StaticTest.java 283B
Test.java 367B
StaticTest1.java 1KB
multiClient
FilterPool.java 326B
MultiSpiderManager.java 3KB
MultiSecondFilter.java 2KB
MultiFirstFilter.java 2KB
readme.txt 155B
filePersistenceClientwithbloom
SecondFilter.java 2KB
FirstFilter.java 1KB
SpiderManagerLong.java 2KB
readme.txt 77B
main
java
log4j.properties 1KB
com
myway5
www
Pool
MultiProcessPagePool.java 318B
MultiFilterPagePool.java 314B
AbstractMultiObjectPool.java 751B
Spider
ProcessSpider.java 3KB
IProcessSpider.java 465B
HttpSpider.java 4KB
AbstFilterSpider.java 543B
IFilterSpider.java 167B
Util
Constants.java 237B
Page.java 369B
HttpSpiderConfig.java 1KB
ProcessSpiderConfig.java 573B
Urlpool
Remover
BloomFilterDuplicateRemover.java 2KB
IDuplicateUrlRemover.java 282B
HashMapDuplicateRemover.java 451B
AbstUrlPool.java 3KB
MemoryUrlPool.java 1KB
RedisUrlPool.java 3KB
IPersistence.java 114B
FileUrlPool.java 6KB
IUrlPool.java 117B
ThreadPool
FilterSpiderThreadPool.java 2KB
ProcessSpiderThreadPool.java 2KB
HttpSpiderThreadPool.java 6KB
SpiderManager
IMultiSpiderManager.java 100B
ISpiderManager.java 118B
AbstSpiderManager.java 3KB
Monitor
MonitorEngineMXBean.java 204B
MonitorEngine.java 565B
MonitorEngineAgent.java 842B
.project 539B
.gitignore 9B
README.md 186B
共 81 条
- 1
资源评论
JJJ69
- 粉丝: 6222
- 资源: 5780
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功