华为大数据FusionInsight HD解决方案

所需积分/C币:20 2018-01-29 11:45:12 2.53MB PDF

华为大数据FusionInsight HD解决方案,国内总体排名第一、金融 行业排名第一的企业大数据平台建设方案。
繁荣的开源生态系 统 Hadoop核心基本组件的开 HBase组件在快速的发展 各组件团队之问、组件内团 源代码量,接近200万行 中,平均每个月一个发布版 队成员是松耦合、地理分布 式运作,相关特性无有效整合 组件开源代码 0.951 Next in the 0 95 266 issues Not for production 量(KLoc) Release date: 11JJun/13 Release Notes 0950 First in the 0.95 1266 issues ZooKeepe 64 Not for production Release Date: 07/Apr/13 Release Notes 安全 0.94.8 Bug fix release 45 issues Release Date: 31/May/ 13 Release Notes HDES 438 0947 Bug fix release 73 issues Release date: 25/Apr13 Release Notes 版 YARN 380 0.94.6.1 Emergency Bug Fix 1 issues Release Date: 04/Apr/13 Release Notes apRedu 线越择 0.94.6 Bug fix release 68 issues ce Release date: 22/Mar/13 Release notes 0945 Bug fix release 77 issues HBase 260 Release date 15/Feb/13 Release notes Hado管理 日志 0.94.4 Bug fix release 83 issues Hive 273 Release Date: 12/Jan/13 Release Notes 0.94.3 Bug fix release 51 issues oozie 88 Release date 03/Dec/12 Release notes 0.94.2 Bug fix release 117 issues 汇总 1652 Release Date: 11/0ct/12 Release Notes Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 3 HUAWEI 开源到企业级的蜕变 易开发 采纳社区精华,去除开源Bug 易管理运维 易用 谨慎选择稳定基线版本 认真评估高版本补丁影响范围评 ·统一安全管控 估和回合策略 2|·RBAC授权机制 安全 ●采用数万个测试用例,确保企业 数据加密存储 版本稳定性 系统无单点故障 地理容灾 可靠 初生 繁荣 企业 开源 社区 版本 安全 版本配合 配置 补丁选择 性能调优 基线选择 日志 Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 4 HUAWEI 架构:分层解耦开放 敏捷 田 金融 运营商 政府 口完全开放的架构,性能线性扩展 口强大的SQL能力,业务移植便捷 口丰富的工具支持,开发运维高效 FusionInsight大数据平台 智慧 明细(影像)征信数据服务推荐 伪控 口全量建模,深刻洞察 口自研算法,高效精准 数据集成数据分析数据挖掘数据消费 可信 2250 MPPDB‖a全组件HA、异地容灾 离/近线计算内存计算 实时流计算并行数据库 口开放共赢,可信赖的合作伙伴 Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 5 HUAWEI 解决方案架构 数据分析 数据集成 集群管理 Porter 数据挖掘 数据挖掘 图处理 Manager Mahout(on MR) MLLib(on Spark) GraphX 软件管理 DSL(领域描述语言) 作业调度 oozie 批处理 交互查询 KV查询 流式查询 Hive SparkSQL Redis Stream CQL 配置管理 批量采集 分布式计算引擎 Loader 故障管理 批处理 内存计算 流处理 实时事件处理 MapReduce Spark SparkStreaming Storm 实时采集 性能管理 Flume 分布式资源管理 Yarn 消息队列 安全管理 Kafka 分布式存储管理 NOSQL数据库 搜索引擎 SQL存储格式 租户管理 上传下载 HBase Solr ORC/Parquet FtpOnHDFS 分布式文件系统 备份管理 HDES Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 6 HUAWEI 高可靠性 跨数据中心容灾 第三方备份系统集成 所有组件无单点故障 数据 可靠性(关键数据掉电保护 所有管理节点HA) 系统 可靠性 硬盘热插拔 软硬件健康状态监控 网络平面隔离 Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 7 HUAWEI 强大的组织支撑能力 能够创建新的 s 社区顶级项目 引领社区完成 面向未来的内 HUAWE核级特性开发 独立完成内核 关键特性开发 定位内核级 问题的团队 会定位内核 级问题个人 组件多,代码量大 会定位周 边问题 Apache开源社 组件更新块 区生态系统 使用 Hadoop 特性无有效整合 强大的 Hadoop内核团队支持的开发与产品交付能力 Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 8 HUAWEI 安全性 系统安全 认证安全 数据安全 想B完全开源 用户权限 数据完整 组件增强 认证管理 性校验 /操作系统 用户组件 组件数据 安全加固 权限控制 加密 Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 9 HUAWEI 可视化集群管理,易运维 s FusionInsight Manager admn5已? 1.选择版本2.查我主机3设置机架名称 FusionInsight Manager 述;基手主机匹配表达式搜索主机,输入的系统览 ,围A区甲 集群时间:2016年04月29日星其五170800csT 告塾:083●0①0 N帮助:关于主机匹配表达式 实时盎控历史报表 输入所有节点(包墡管理节点、控制节点和数据节 每30秒刷 回全屏必定制 集群主机健康状态统计 口×主机cPU占用率分布 腸秀 健康状态 角色额 ●良好●故障●未知 型表达式: DBService 2 DBServer HBase 2 MAster 3 Regions HDFS 3 DataNode 3 Journa 用户名:mot HIve 良好 2 Metastore 2 Wve bH Krb server ◎良好 2 Kerberosserver 2 K 2 Slapdserver 好 查找主机 100% 50-75% 25-50% 0-25% Mapreduce 1 JobHistory Server 迭择所有节点(包括管理节点、控制节点和数据节 主机内存占用率分 主机磁盘占用率分布 机网络读速率分布 发现主机:0个主机。(主机名为绿色表示此节点为 主机名 集群节点状态 集群服务状态 75-100%50-75%25-50% 75-100%50-75% 25-50% 0-25% 80DMB/s400-800MB/s200-400MB0-200MB/s °服务组件配置项可视化 向导式/一键式集群安装部署和扩容,简单快速 全面的系统监控与告警管理,服务状态、硬件状态一目了然 SNMP/FTP/ SYSLOG标准接口与企业已有管理系统无缝对接 Copyright o 2016 Huawei Technologies Co, Ltd. All rights reserved Page 10 HUAWEI

...展开详情

评论 下载该资源后可以进行评论 1

dweikai 还没有看,没有下载成功。
2018-07-15
回复
img
wenxin1004
  • 签到新秀

    累计签到获取,不积跬步,无以至千里,继续坚持!

关注 私信 TA的资源

上传资源赚积分,得勋章
最新资源