没有合适的资源?快使用搜索试试~ 我知道了~
大数据平台架构.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 163 浏览量
2021-10-02
14:33:54
上传
评论 1
收藏 3.56MB PDF 举报
温馨提示
试读
27页
大数据平台架构.pdf
资源推荐
资源详情
资源评论
精品文档
.
1. 技术实现框架
1.1大数据平台架构
1.1.1 大数据库是未来提升业务能力的关键要素
以“大数据” 为主导的新一波信息化浪潮正席卷全球, 成为全球范围内加速
企业技术创新、推动政府职能转变、引领社会管理变革的利器。目前,大数据技
术已经从技术研究步入落地实施阶段, 数据资源成为未来业务的关键因素。 通过
采集和分析数据,我们可以获知事物背后的原因,优化生产 /生活方式,预知未
来的发展动态。
经过多年的信息化建设, 省地税已经积累了丰富的数据资源, 为下一步的优
化业务、提升管理水平,奠定了坚实的基础。
未来的数据和业务应用趋势,大数据才能解决这些问题。
《1.巨杉软件 SequoiaDB产品和案例介绍 v2》P12 “银行的大数据资产和应用
“,说明税务数据和业务分析,需要用大数据解决。
《1.巨杉软件 SequoiaDB产品和案例介绍 v2》P14 “大数据与传统数据处理 ”,
说明处理模式的差异。
1.1.2 大数据平台总体框架
大数据平台总体技术框架分为数据源层、 数据接口层、 平台架构层、 分析工
具层和业务应用层。如下图所示:
精品文档
.
(此图要修改,北明 )
数据源层:包括各业务系统、 服务系统以及社会其它单位的结构化数据和非
结构化数据;
数据接口层: 是原始数据进入大数据库的入口, 针对不同类型的数据, 需要
有针对性地开发接口,进行数据的缓冲、预处理等操作;
平台架构层:基于大数据系统存储各类数据, 进行 处理? ;
分析工具层:提供各种数据分析工具,例如:建模工具、报表开发、数据分
析、数据挖掘、可视化展现等工具;
业务应用层:根据应用领域和业务需求,建立分析模型,使用分析工具,发
现获知事物背后的原因,预知未来的发展趋势,提出优化业务的方法。例如,寻
找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。
1.1.3 大数据平台产品选型
针对业务需求,我们选择巨杉数据库作为大数据基础平台。
精品文档
.
1.1.3.1 传统数据库与大数据库的差异 (丰富一下内容, 说明应该选择
大数据平台)
传统的关系型数据库, 只能存储结构化数据, 在当前互联网快速发展的时代,
僵硬的数据模型已经无法适应快速开发、 快速迭代的互联网思维。 同时,越来越
广阔的移动无线网络覆盖, 不断提升的上网体验, 人们的生活已经与网络连接起
来,现在人们在互联网产生的数据,比较过去正在以几何倍数增长。
1.1.3.2 巨杉的产品框架()
巨杉的简要介绍。
产品框架下的组件的简要介绍,说明由哪些东西组成,实现哪些功能。
1.1.3.3 产品比较?( 与类似产品的竞争优势? )
SequoiaDB作为一款拥有完全自主知识产权的文档型分布式数据库,天生具
备高性能、高可用的特性。 SequoiaDB采用分片技术为数据库提供横向扩展机制,
这个分片过程对应用程序来说是透明的。 分片分配数据跨越多个物理分区, 每个
精品文档
.
分区也即分片。分片是为了替 SequoiaDB 部署解决单台服务器硬件资源受限问
题,如内存或者磁盘 I/O 瓶颈,不会增加应用程序复杂性。
SequoiaDB相比其他数据库的独有功能如下:
序号 功能点
1 灵活的数据类型
2
统一管理结构化数据及海量小文件
3
双存储引擎,简化系统架构
4
统一数据视图,实现冷、热数据物理分离
5
SequoiaDB支持读写分离,用户可以针对一份数据完成更多的业务处理
6 深度整合大数据体系的各个组件,如 Spark/Hadoop
7 完善的运维、监控工具
8 SequoiaDB支持在线扩容,系统扩容升级快速简单
1.1.3.4 巨杉的特点?()
SequoiaDB不仅在性能上领先业界其他的非关系型数据库, 对比其他数据库,
SequoiaDB提供了非常多的独有功能:
1) 灵活的数据类型
SequoiaDB 采用文档类型数据模型(对象存储) ,将程序中的对象以原生的
方式保存在数据库中, 并且可以对其中而已属性或子对象进行检索匹配, 可以大
幅度弱化复杂的关系模型,加快应用的开发速度,并减少系统的运维成本。
精品文档
.
灵活的数据类型
2) 统一管理结构化数据和海量小文件
在过去,企业构建一个内容管理系统,基本是一个关系型数据库 +存储这样
的组合。这种构建方法,在过去数据量不大,并发数不高的情况下,系统还能运
行得比较平稳。 但是随着时间的推移, 需要接入该系统的业务会越来越多, 需要
管理的文件和信息量都开始开始激增, 并且随着查询的并发量增加, 这时候, 按
照传统方法构建的系统,性能、扩容能力都无法满足需求。
SequoiaDB是一款以 BSON数据类型作为底层存储格式的文档型数据库。
BSON格式本身是一种弱 Schema的数据类型, 一条 BSON记录里面, 可以包
含各种类型的数据,如整型、字符型、浮点型和二进制类型的数据。用户可以利
用 BSON这种特性,将像图片,音频这种小文件以二进制类型放到一个 BSON记
录里面,同时将对文件的描述信息也存储在同一个 BSON记录上,形成一条完整
的信息存储在 SequoiaDB中。
剩余26页未读,继续阅读
资源评论
资料大全
- 粉丝: 14
- 资源: 26万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功