CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能

5星(超过95%的资源)
所需积分/C币:14 2016-05-17 10:59:48 5.42MB PDF
95
收藏 收藏
举报

该文档来自CCTC 2016中国云计算技术大会。分布式系统组件管理与性能监控资深专家王栋发表的题为“利用ELK监控Hadoop集群负载性能”的主题演讲,欢迎下载!
利用ELK监控 Hadoop集群负载性能 ccTc2016中五计真技术命 目录 Hadoop集群负载性能监控面临的间题 使用EK进行 Hadoop集群负载性能监控 ELK介绍 EK监控 Hadoop集群负载性能的实现原理 使用 Ambari安装,部署和管理ELK ELK和 Ambar深度集成 利用ELK监控 Hadoop集群负载性能 ccTc2016中五计真技术命 Hadoop集群负载性能监控面临的问题 Hadoop集群运维中负载相关的问题 文件系统异常,导致系统处理能力下降 随着业务量增大,负载处理能力是否能够满足需求 不同队列上的资源分配方式不合理,导致作业不能及时处理完 成 资源抢占引起大量的作业运行失败。 个别任务长时间处于挂起状态,导致作业不能及时完成 利用ELK监控 Hadoop集群负载性能 ccTc2016中五计真技术命 目录 Hadoop集群负载性能监控面临的问题 使用EK进行 Hadoop集群负载性能监控 ELK介绍 EK监控 Hadoop集群负载性能的实现原理 使用 Ambari安装,部署和管理ELK ELK和 Ambar深度集成 利用ELK监控 Hadoop集群负载性能 ccTc2016中五计真技术命 使用EK进行 Hadoop集群负载性能监控 Kiana:数据分析,数据可视化 Elasticsearch:原始数据存储,索引,查询 Ambari log stash:日志收集,清洗,装载 安装 管理 log preparer: Hadoop集群日志收集插件 部署 Hadoop 负 adop 负载实 载运行日志 时运行信息 Hadoop集群 利用ELK监控 Hadoop 集群负载性能 ccTc2016中五计真技术命 使用EK进行 Hadoop集群负载性能监控 n MapReduce_job_execution _time_..6x all Spark__jobexecution_timedistrib.8 x ll Tez job_execution_ _ time_distribution x =4 2 86420 86420 品导品品品品品宝品显8器 早8导品8R品88988导88R88888导 9999999-g99g999999999 品导品品品品早品导品品品8 导品器8品号品尽N 999999999ggg9999999999999 988导88R8 999999999g999999999999999 °988导品8R88988导品品尽品88988 job_ execution_time ranges job_execution_time ranges job_execution_time ranges CPU_usage_comparing memory_usage_comparing C task_throughput_comparing ● spark ● mapreduce ●tez 利用ELK监控 Hadoop集群负载性能 ccTc2016中五计真技术命 目录 Hadoop集群负载性能监控面临的问题 使用EK进行 Hadoop集群负载性能监控 ELK介绍 EK监控 Hadoop集群负载性能的实现原理 使用 Ambari安装,部署和管理ELK ·ELK和 Ambari的深度集成 利用ELK监控 Hadoop集群负载性能 ccTc2016中五计真技术命 ELK的优势 分布式的数据存储,索引和査询引擎。 elasticsearch 日志数据收集,清洗,装载。 logstash 基于 Elasticsearch的数据分析和数据可视化工具 kiana 利用ELK监控 Hadoop集群负载性能 ccTc2016中五计真技术命 ELK的优势 ELK的特点 简单,快速开发,可灵活扩展的信息收集,清洗和 处理能力。 ≯高效,分布式的数据存储,管理和查询能力。高可 用,高可靠性保证 简洁易用的图形化界面,提供简单直观的数据分析 和数据可视化功能的开发 ≯引入EK,可以为 Hadoop集群快速开发负载性能监控 的 Dashboard,为用户提供可视化的监控功能。

...展开详情
试读 26P CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能
立即下载 身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
wengpouchu4141 不知道咋样啊
2017-10-19
回复
这个该叫什么呢 非常用用,谢谢楼主分享
2016-11-07
回复
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 签到王者

  • 技术圈认证(专家版)

  • 分享王者

关注 私信
上传资源赚钱or赚积分
最新推荐
CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能 14积分/C币 立即下载
1/26
CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能第1页
CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能第2页
CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能第3页
CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能第4页
CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能第5页
CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能第6页

试读结束, 可继续读2页

14积分/C币 立即下载