没有合适的资源?快使用搜索试试~ 我知道了~
slim:侦听Spark事件,聚合统计信息并将其写入Mongo的节点服务器
共94个文件
json:61个
js:26个
gitignore:2个
需积分: 10 0 下载量 26 浏览量
2021-05-01
10:59:19
上传
评论
收藏 207KB ZIP 举报
温馨提示
slim slim是一个服务器,它可以: 侦听事件(由发出), 汇总由这些事件描述的关于Spark应用程序的各种统计信息,并且 将这些统计数据写给Mongo供。 提供了有关将这些组件一起使用的更多信息,这是slim的预期用例。 去那里了解更多! 如果您仅对运行slim感兴趣,例如将Spark事件保留到Mongo,则可以: 运行mongod进程。 默认情况下, slim将在 (这是Spree在默认情况下启动它的位置)中查找一个。 下载slim ( )并运行它: $ npm install -g slim.js $ slim 每,注册JsonRelay在你的监听spark-shell或spark-submit命令: 在Spark> = 1.5.0中,使用spark-packages: --packages org.hammerlab:spark-json-relay:2
资源推荐
资源详情
资源评论
收起资源包目录
slim-master.zip (94个子文件)
slim-master
.gitignore 44B
README.md 10KB
utils
ost.js 16KB
log.js 895B
objs.js 2KB
utils.js 2KB
server.js 26KB
test
.gitignore 3B
test.js 2KB
data
metrics
output
non_rdd_blocks.json 3B
environment.json 3B
stage_summary_metrics.json 6KB
task_attempts.json 49KB
rdds.json 1KB
jobs.json 1KB
stage_executors.json 1KB
executors.json 967B
apps.json 888B
stage_attempts.json 2KB
rdd_executors.json 136B
tasks.json 6KB
rdd_blocks.json 7KB
stages.json 3KB
input
events.json 62KB
events.json.bak 62KB
skips
output
non_rdd_blocks.json 3B
environment.json 27KB
stage_summary_metrics.json 51KB
task_attempts.json 842KB
rdds.json 14KB
jobs.json 9KB
stage_executors.json 8KB
executors.json 1018B
apps.json 1KB
stage_attempts.json 13KB
rdd_executors.json 3B
tasks.json 118KB
rdd_blocks.json 3B
stages.json 35KB
input
events.json 1.11MB
small
output
non_rdd_blocks.json 3B
environment.json 8KB
stage_summary_metrics.json 6KB
task_attempts.json 10KB
rdds.json 1KB
jobs.json 1KB
stage_executors.json 1KB
executors.json 1KB
apps.json 1KB
stage_attempts.json 2KB
rdd_executors.json 175B
tasks.json 1KB
rdd_blocks.json 2KB
stages.json 3KB
input
events.json 27KB
medium
output
non_rdd_blocks.json 3B
environment.json 30KB
stage_summary_metrics.json 6KB
task_attempts.json 229KB
rdds.json 1KB
jobs.json 2KB
stage_executors.json 4KB
executors.json 15KB
apps.json 1KB
stage_attempts.json 2KB
rdd_executors.json 233B
tasks.json 31KB
rdd_blocks.json 45KB
stages.json 3KB
input
events.json 325KB
lib
server.js 874B
utils.js 642B
dump-records.js 4KB
LICENSE 11KB
slim.js 814B
package.json 1KB
mongo
collections.js 3KB
upsert-stats.js 2KB
subrecord.js 1KB
record.js 13KB
models
rdd-executor.js 345B
stage-executor.js 452B
executor.js 1KB
stage.js 1KB
rdd.js 3KB
app.js 12KB
job.js 282B
block.js 710B
stage-summary-metric.js 3KB
task.js 786B
task-attempt.js 3KB
stage-attempt.js 4KB
.npmignore 28B
.travis.yml 52B
共 94 条
- 1
资源评论
温暖如故
- 粉丝: 22
- 资源: 4642
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功