没有合适的资源?快使用搜索试试~ 我知道了~
NetDiscovery:NetDiscovery是一种基于Vert.x,RxJava 2等框架实现的通用爬虫框架中间件
共302个文件
java:177个
gradle:27个
kt:24个
需积分: 10 1 下载量 7 浏览量
2021-02-03
23:00:33
上传
评论
收藏 108.04MB ZIP 举报
温馨提示
网络发现 功能特点: 轻量级爬虫 初步设计,适当扩展:支持多种消息体系(Disruptor,Redis,Kafka,RabitMQ,RocketMQ),多种网络框架(Http Client,Okhttp3,Selenium等),也支持自己实现。 支持分布式 多线程,异步化:逐步使用RxJava 2的多线程机制 支持线程池隔离:爬虫的Parser,Pipeline过程可以放在独立的线程池中进行处理 支持请求动态添加到正在运行爬虫的队列中 支持Kotlin协程 支持JS渲染 支持请求自定义header信息 支持debug功能:在调试时请求可以打开debug的开关,使用Local Cache(RxC
资源推荐
资源详情
资源评论
收起资源包目录
NetDiscovery:NetDiscovery是一种基于Vert.x,RxJava 2等框架实现的通用爬虫框架中间件 (302个子文件)
chromedriver 11.34MB
application.conf 1006B
chromedriver.exe 6.11MB
.gitignore 162B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
.gitignore 41B
build.gradle 3KB
build.gradle 2KB
build.gradle 2KB
build.gradle 2KB
build.gradle 2KB
settings.gradle 1KB
build.gradle 1KB
build.gradle 1KB
build.gradle 1KB
build.gradle 1KB
build.gradle 1013B
build.gradle 975B
build.gradle 930B
build.gradle 896B
build.gradle 886B
build.gradle 817B
build.gradle 816B
build.gradle 801B
build.gradle 763B
build.gradle 750B
build.gradle 702B
build.gradle 494B
build.gradle 225B
build.gradle 225B
build.gradle 225B
build.gradle 225B
build.gradle 225B
index.html 2KB
gradle-wrapper.jar 54KB
Spider.java 25KB
SpiderEngine.java 13KB
RouterHandler.java 11KB
HttpManager.java 8KB
QuartzManager.java 8KB
ImagePreprocessingService.java 8KB
URLParser.java 8KB
VertxDownloader.java 7KB
SeleniumUtils.java 6KB
RedisQueue.java 6KB
UrlConnectionDownloader.java 5KB
ZooKeeperWatchManager.java 5KB
OkHttpDownloader.java 5KB
SpiderUtils.java 4KB
Printer.java 4KB
RedisPriorityQueue.java 4KB
EtcdWatchManager.java 4KB
HtmlNode.java 4KB
HtmlUnitDownloader.java 4KB
RPCServiceImpl.java 4KB
CookiesPool.java 4KB
Browser.java 4KB
DisruptorQueue.java 4KB
HttpClientDownloader.java 3KB
RabbitQueue.java 3KB
EtcdRegistry.java 3KB
SeleniumDownloader.java 3KB
AbstractWatchManager.java 3KB
FileDownloader.java 3KB
RetryWithDelay.java 3KB
WebDriverPooledFactory.java 3KB
Selectable.java 3KB
KafkaQueue.java 3KB
SmartContentSelector.java 3KB
AbstractSelectable.java 3KB
RegexSelector.java 3KB
Consumer.java 3KB
CssSelector.java 3KB
Html.java 3KB
Constant.java 2KB
ZKRegistry.java 2KB
RabbitQueueConfig.java 2KB
RedisPipeline.java 2KB
PlainText.java 2KB
TestKafka.java 2KB
共 302 条
- 1
- 2
- 3
- 4
资源评论
LinSha
- 粉丝: 13
- 资源: 4616
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功