没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
1
数据中台建设方案
二〇二二 年
2
目录
1. 数据中台平台建设方案 ..........................................................................................................2
1.1. 总体建设方案 .......................................................................................................................2
1.1.1.
大数据平台
-TDH .............................................................................................................2
1.1.2.
云操作系统
-TOS ..............................................................................................................3
1.1.3.
大数据平台产品优势
......................................................................................................7
1.1.4.
大数据平台性能优化
....................................................................................................12
1.2. 大数据集成平台 .................................................................................................................22
1.2.1.
数据采集层建设
............................................................................................................22
1.2.2.
数据存储层建设
............................................................................................................32
1.2.3.
数据交换层建设
............................................................................................................41
1.2.4.
数据管理层建设
............................................................................................................62
1.2.5.
资源管理层建设
............................................................................................................76
1.3. 大数据计算平台 .................................................................................................................82
1.3.1.
数据计算层建设
............................................................................................................82
1.4. 大数据开发平台 ...............................................................................................................138
1.4.1.
大数据平台可视化工具
..............................................................................................138
1.4.2.
大数据平台集成能力
..................................................................................................183
1.5. 大数据运维平台 ...............................................................................................................184
1.5.1.
大数据平台运维
..........................................................................................................184
1.5.2.
大数据平台安全性
......................................................................................................218
1.5.3.
大数据平台高可用性
..................................................................................................227
1.5.4.
大数据平台开放性
......................................................................................................230
1.5.5.
大数据平台兼容性
......................................................................................................231
3
1. 数据中台建设方案
1.1. 总体建设方案
通过对客户大数据应用平台服务需求的理解,根据建设目标、设计原则的多
方面考虑,建议采用星环科技 Transwarp Data Hub(TDH)大数据基础平台的架
构方案,基于 Transwarp Operating System(简称 TOS)云平台方式部署构建。
通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维
平台来满足客户大数据应用平台服务建设的要求。
1.1.1. 大数据平台-TDH
星环大数据平台 Transwarp Data Hub(简称 TDH)基于开源 Spark 技术,从
查询引擎、计算框架、存储引擎和资源调度等方面做了性能的优化,相较于同类
产品,提供更好的性能。改进的分布式计算引擎 Inceptor,解决了开源 Spark 的
稳定性问题,并且已经在众多成功案例中经历了的考验。同时 Ipcetor 大幅提高
Spark 计算性能,是开源的 2-10 倍。TDH Inceptor 极大提高了 Spark 功能和性能
的稳定性,可以 7*24 小时在企业的生产环境运行,并能在 TB 级规模数据上高
效进行各种稳定的统计分析。
星环大数据平台 TDH 采用基于 Hadoop 的数据平台架构,海量数据查询分
析服务集群既可以处理结构化的数据,也可以处理非结构化、半结构化的数据,
满足配置、日志、网页、音视频、社交网络等多源异构数据的加载和存储,提供
数据查询、全文检索、数据离线批处理分析、交互式分析、图分析、数据挖掘、
机器学习等多种数据处理模式。同时,基于平台提供的实时流处理集群,可以满
足实时数据研判分析服务的需求。整个平台提供完整的多租户功能,对于计算资
源与存储资源以及数据访问资源进行统一控制管理,对于计算资源进行高效的调
度管理与使用控制;对于存储资源进行配额管理;对于数据访问权限,进行严格
的权限管理。在安装、配置、监控、告警方面,通过统一的 Transwarp Manager
进行运维管理。
4
星环大数据平台 TDH 应用范围覆盖各种规模和不同数据量的企业,
4
通过内存计算、高效索引、执行优化和高度容错的技术,使得一个平台能够
处理 10GB 到 100PB 的数据,并且在每个数量级上,都能比现有技术提供更快
的性能;企业客户不再需要混合架构,TDH 可以伴随企业客户的数据增长,动
态不停机扩容,避免 MPP 或混合架构数据迁移的棘手问题。
1.1.2. 云操作系统-TOS
星环云操作系统 Transwarp Operating System(简称 TOS)是为大数据应用
量身订做的云操作系统,基于 Docker 和 Kubernetes 开发。TOS 支持一键部署 TDH,
基于优先级的抢占式资源调度和细粒度资源分配,让大数据应用轻松拥抱云服务。
未来企业对于构建统一的企业大数据平台(Data Hub)来驱动各种业务具有
强烈需求,统一的企业大数据平台需要提供以下功能:
资源弹性共享—提高资源利用率
1)灵活部署:支持灵活部署大数据应用和其他常规应用
2)资源调度:具备自动扩容和自动修复功能
3)服务发现:具备集中式的仓库
隔离性—保障服务质量和安全性
1)数据隔离:包括数据源、访问模式等
2)计算隔离:隔离 CPU、内存、网络、磁盘 IO 等
TOS 满足了以上企业大数据平台的需要,支持对 TDH
剩余286页未读,继续阅读
资源评论
- wdq1976692024-04-05总算找到了自己想要的资源,对自己的启发很大,感谢分享~
公众号:智慧方案文库
- 粉丝: 2048
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功