没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告数据仓库建设方案.doc

数据仓库建设方案.doc

2 下载量 132 浏览量 2023-08-03 22:05:42 上传评论收藏 1.9MB DOC 举报

温馨提示

试读

41页

数据仓库建设方案.doc

资源推荐

资源详情

资源评论

第1章数据仓库建设

1.1 数据仓库总体架构

专家系统接受增购项目车辆 TCMS 或其她子系统通过车地通信传

播实时或离线数据,通过一系列综合诊断分析,以各种报表图形或信

息推送形式向顾客展示分析成果。针对诊断出车辆故障将给出专家建

议解决办法,为车辆故障根因修复提供必要支持。

依照专家系统数据仓库建设目的,结合系统数据业务规范,涉及

数据采集频率、数据采集量等有关因素,设计专家系统数据仓库架构

如下:

数据仓库架构从层次构造上分为数据采集、数据存、数据分析、

数据服务等几种方面内容:

数据采集:负责从各业务自系统中汇集信息数据,系统支撑 Kafka、

Storm、Flume 及老式 ETL 采集工具。

数据存储:本系统提供 Hdfs、Hbase 及 RDBMS 相结合存储模式,支

持海量数据分布式存储。

数据分析:数据仓库体系支持老式 OLAP 分析及基于 Spark 常规机

器学习算法。

数据服务总线:数据系统提供数据服务总线服务,实现对数据资

源统一管理和调度,并对外提供数据服务。

1.2 数据采集

专家系统数据仓库数据采集涉及两个某些内容:外部数据汇集、

内部各层数据提取与加载。外部数据汇集是指从 TCMS、车载子系统

等外部信息系统汇集数据到专家数据仓库操作型存储层(ODS);内部

各层数据提取与加载是指数据仓库各存储层间数据提取、转换与加载。

1.2.1 外部数据汇集

专家数据仓库数据源涉及列车监控与检测系统(TCMS)、车载子系

统等有关子系统,数据采集内容分为实时数据采集和定期数据采集两

大类,实时数据采集重要对于各项检测指标数据;非实时采集涉及日

检修数据等。

依照项目信息汇集规定,列车指标信息采集具备采集数据量大,

采集频率高特点,考虑到系统后期扩展,因而在数据数据采集方面,规

定采集体系支持高吞吐量、高频率、海量数据采集,同步系统应当灵

活可配备,可依照业务需要进行灵活配备横向扩展。

本方案在数据采集架构采用 Flume+Kafka+Storm 组合架构,采用

Flume 和 ETL 工具作为 KafkaProducer, 采用 Storm 作为

KafkaConsumer,Storm 可实现对海量数据实时解决,及时对问题指标

进行预警。详细采集系统技术构造图如下:

1.2.1.1数据汇集架构功能

Flume 提供了从 console(控制台)、RPC(Thrift-RPC)、text(文

献)、tail(UNIX tail)、syslog(syslog 日记系统,支持 TCP 和 UDP

等 2 种模式),exec(命令执行)等数据源上收集数据能力。Flume 数据

接受方,可以是 console(控制台)、text(文献)、dfs(HDFS 文献)、

RPC(Thrift-RPC)和 syslogTCP(TCP syslog 日记系统)等。在我们系

统中由 kafka 来接受。

Kafka 分布式消息队列, 支撑系统性能横向扩展 , 通过增长

broker 来提高系统性能。

Storm 流解决技术,支撑 Supervisor 横向扩展以提高系统扩展性

和数据解决实时性。

1.2.1.2采集架构优势

(一) 解耦

在项目中要平衡数据汇集与数据解决性能平衡,是极其困难。消

息队列在解决过程中间插入了一种隐含、基于数据接口层,两边

解决过程都要实现这一接口。这容许你独立扩展或修改两边解

决过程,只要保证它们遵守同样接口约束。

� 冗余

有些状况下,解决数据过程会失败。除非数据被持久化,否则将

导致丢失。消息队列把数据进行持久化直到它们已经被完全解

决,通过这一方式规避了数据丢失风险。在被许多消息队列所采

用“插入-获取-删除”范式中,在把一种消息从队列中删除之前,

需要你解决过程明确指出该消息已经被解决完毕,保证你数据

被安全保存直到你使用完毕。

� 扩展性

由于消息队列解耦了你解决过程,因此增大消息入队和解决频

率是很容易;只要此外增长解决过程即可。不需要变化代码、不

需要调节参数。扩展就像调大电力按钮同样简朴。

� 灵活性 & 峰值解决能力

在访问量剧增状况下,应用依然需要继续发挥作用,但是这样突

发流量并不常用;如果为以能解决此类峰值访问为原则来投入

资源随时待命无疑是巨大挥霍。使用消息队列可以使核心组件

顶住突发访问压力,而不会由于突发超负荷祈求而完全崩溃。

� 可恢复性

当体系一某些组件失效,不会影响到整个系统。消息队列减少了

进程间耦合度,因此虽然一种解决消息进程挂掉,加入队列中消

息依然可以在系统恢复后被解决。而这种容许重试或者延后解

决祈求能力普通是造就一种略感不便顾客和一种沮丧透顶顾客

之间区别。

� 送达保证

消息队列提供冗余机制保证了消息能被实际解决,只要一种进

程读取了该队列即可。在此基本上,IronMQ 提供了一种”只送

剩余40页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

matlab大师

粉丝: 2410
资源: 9万+

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

数据仓库建设方案.doc

数据仓库建设方案.docx

数据仓库建设方案.doc.pdf

科学技术馆数据仓库平台建设方案.doc

数据仓库系统建设方案.doc

数据仓库建设设计方案.doc

数据仓库建设方案

数据仓库建设方案详细.doc

数据仓库建设实施计划方案.doc

XX银行数据仓库建设项目具体技术方案.doc编程资料

数据仓库系统建设方案详细.doc

电气数据仓库建设规划方案V2.0.doc

数据仓库建设项目实施方案建议书.doc

数据仓库（BI）建设方案

数据仓库建设方案.pdf

数据仓库建设方案 (2).docx

数据仓库建设方案 (2).pdf

专题资料（2021-2022年）ORACLE数据仓库建设.doc

文件服务器建设方案.doc

智能物流仓储实训室建设方案.doc

数据仓库建设项目实施方案建议书V1.2.doc

数据仓库建设项目实施计划方案建议书范本.doc

最新资源