没有合适的资源?快使用搜索试试~ 我知道了~
hadoop-watershed:Hadoop Watershed 是一个分布式系统,用于在计算机集群上进行高效的大规模数据流处...
共76个文件
java:58个
sh:5个
jar:4个
需积分: 9 0 下载量 39 浏览量
2021-06-11
12:43:30
上传
评论
收藏 3.03MB ZIP 举报
温馨提示
Hadoop 分水岭(下一代) Hadoop Watershed 是一个分布式系统,用于在计算机集群上进行高效的大规模数据流处理。 提议 Hadoop Watershed 是一个用于大规模数据流的分布式流处理系统,其灵感来自于数据流模型。 流处理系统由一组并行计算的模块组成,这些模块通过数据流通道进行通信。 它允许连续流处理和批处理应用程序。 用户可以指定整个应用程序管道(或 DAG),包括处理和通信组件。 背景 Watershed 最初是巴西米纳斯吉拉斯联邦大学 (UFMG) 的一个研究项目。 Hadoop Watershed 引入的批处理模型基于 Anthill 框架,这是 UFMG 开发的另一个研究项目。 依赖关系 参考 框架 AnthillSched:不规则和迭代 I/O 密集型并行作业的调度策略 应用 使用 Anthill 的分布式 Skycube 计算
资源推荐
资源详情
资源评论
收起资源包目录
hadoop-watershed-master.zip (76个子文件)
hadoop-watershed-master
build.sh 1KB
netconsumer.xml 592B
netproducer.xml 368B
tmp-build.sh 1KB
src
hws
core
ChannelSender.java 2KB
info
ModuleInfo.java 10KB
OutputChannelInfo.java 2KB
InputChannelInfo.java 1KB
StubInfo.java 1KB
ModulePipeline.java 8KB
FilterInfo.java 1KB
ExecutorInfo.java 2KB
InstanceInfo.java 4KB
ChannelInfo.java 2KB
ChannelDeliver.java 3KB
InstanceDriver.java 16KB
DefaultExecutor.java 1KB
ChannelDecoder.java 1KB
Filter.java 3KB
Shared.java 3KB
ContainerUtils.java 2KB
ChannelOutputSet.java 2KB
JobMaster.java 20KB
ChannelReceiver.java 905B
ChannelEncoder.java 1KB
JobClient.java 12KB
util
ZkClient.java 4KB
Logger.java 2KB
Json.java 1KB
net
NodeCommunicator.java 4KB
MessageHandler.java 797B
StandardOutputStream.java 451B
NetUtil.java 3KB
ConnectionHandler.java 407B
NetServer.java 3KB
channel
lfs
LineReader.java 3KB
LineWriter.java 832B
tachyon
LineReader.java 8KB
LineWriter.java 4KB
util
PosItemizer.java 510B
PreItemizer.java 507B
net
NetSender.java 2KB
NetDeliver.java 3KB
KeyValueDeliver.java 3KB
KeyValueSender.java 2KB
BroadcastSender.java 1KB
RoundRobinSender.java 1009B
hdfs
LineReader.java 8KB
LineWriter.java 4KB
nnet
NetSender.java 6KB
NetDeliver.java 6KB
KeyValueSender.java 1KB
BroadcastSender.java 1011B
NetDeliverHandler.java 2KB
RoundRobinSender.java 1KB
sample
wordcount
Adder.java 3KB
Combiner.java 1KB
Counter.java 2KB
IdentityFilter.java 940B
IntegerGenerator.java 842B
knn
MergeFilter.java 3KB
CompareFilter.java 5KB
mapper.xml 373B
lib
gson-2.2.4.jar 186KB
netty-all-4.0.23.Final.jar 1.7MB
zkclient-0.1.jar 61KB
zookeeper-3.4.6.jar 1.28MB
run.sh 578B
LICENSE 11KB
README.md 2KB
samples-build.sh 1KB
clear.sh 157B
reducer.xml 435B
Apache.PROPOSAL 920B
NOTICE 292B
.gitignore 35B
共 76 条
- 1
资源评论
国服第一奶妈
- 粉丝: 27
- 资源: 4504
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功