明略数据Discovery大数据商务智能平台产品白皮书.pdf

所需积分/C币:50 2019-05-17 14:25:06 1.74MB PDF
78
收藏 收藏
举报

绝版资料,网上根本找不到的资源。 明略数据Discovery大数据商务智能平台产品白皮书.pdf
● MININGLAN 明略数据 目录 1产品概述.. 2产品特点和核心优势 3系统架构 3.1数据引擎. 3.2 BI Server :·············b..···:·············.···:······· 5678889 3.3交互分析模块 3.4API。。,,,, 鲁曹。鲁·鲁 4功能介绍 10 4.1数据处理 4.1.1数据溟. 带要·要鲁甲 10 4.1.2数据关联 4.1.3ETL数据转换处理. 12 4.1.4多维数据库Cube ,,12 4.1.5分布式部署. ·······.·:······ 13 4.2查询引擎 4.2.1传统关系型数据库 13 4.2.2分布式(MP)数据库 4.2.3 NOSQL数据库 14 4.30LAP分析... 4.3.1仁意多维度分析 ......15 4.3.2多层钻取.. 15 4.3.3排序 16 4.4 Dashboard.,,,,,,,,,,,,,, 16 4.4.1图表类型 17 4.4.2图表编辑 18 1.4.3参数和过滤器设置 19 4.4.4 Dashboard布局 4.4.5保存和发布. ·· 21 4.5权限管理. 22 4.5.1权限控制的层次 23 A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com ● MININGLAN 明略数据 4.5.2权限的粒度 23 5性能与可靠性... 导··.● ..··· ·· 24 6结束语 25 A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com ● MININGLAN 明略数据 1产品概述 BI( Business Intelligence,商业智能)的概念最早在1996年提出。当时将商业智能定义为一类由数 据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据晉份和恢复等部分组成的、以帮助企业决 策为目的技术及其应用。目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明 智的业务经营决策的工具。南务智能系统中的数据来自企业其他业务系统。例如商贸型企业,其商务智能 系统数据包括业务系统的订单、库存、交易账目、客户和供应商信息等,以及企业所处行业和竞争对手的 数据、其他外部环境数据。而这些数据可能来自企业的CRM、SCM等业务系统。 商业智能能够辅助的ψ务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。为了将数 据转化为知识,需要利用数据仓库、联杋分析处理(OLAP)工具和数据挖掘等技术。因此,从技术层面上 讲,商业智能不是什么新技术,它是数据仓库、∝LAP和数据挖掘等技术的综合运用 把商业智能看成一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数 据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取( Extraction)、转换( Transfor mation)和装载(Load),即T过程,合并到个企业级的数据仓库里,从而得到企业数据的一个全局 视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信 息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供数据支持。 而随着大数据时代的到来,急剧膨胀的数据规模、精准营销等对细粒度数据探索的需求,以及对决策 时效性的需求愈加旺盛,传统的B方案在解决数据规模、分析的时效性、数据粒度方面越发显得困难。明 略 Discovery产品正是在这样的背景下开发的一款面向大数据商业智能解决方案的产品。 明略Disτ overy大数据商业智能平台是由明略软件系统硏发的基于 Hadoop技术框架的大数据商业智 能平台。我们以更快、更高效、更便捷为目标,致力于帮助用户实现数据的价值。该平台旨在帮助用户挖 掘大欻据环境下的数据价值,解决传统BI貝在大欻据环境下无法使用的困境,帮助普通用户不经过专业 培训就能方便快捷的使用大数据商业智能平台进行大数据分析。 A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com ● MININGLAN 明略数据 2产品特点和核心优势 基于大数据技术的优异性能 Discovery是款真正攴持海量大数据的B产品。经过测试, Discovery对于分组汇总表的计算,百亿 条数据规模,汇总计算均在3s內完成。对于明细表的展示,均在1s内即可完成。该测试数据基于实际实施 项目案例 数据模型建立简单 Discovery支持直接连接 RDBMS或者 Hadoop数仓、 ROLAP和 MOLAP连接 Hadoop数仓,通过简单 的Drag&_Drop即可实现数据模型的建立。 开放架构方便集成 Discovery可以结合数据仓库使用,也可以直接连接ERP/CRM等业务系统的数据源,扩展现有系统的 功能,更好的利用现有∏資产。 Discovery采用开放的SoA架构,提供了丰富的AP接口,能够方便地融合 进其他应用系统,能方便实现与第三方系统的用户和权限整合。 >易于非技术人员使用 传统B的繁杂之处主要体现在两个方面:技术人员需要花费大量时间准备数据以及业务人员基于数据 偶得的一些分析需求实现过程复杂。 Discovery基于明略MDP产品、结合B的需求,提供完整的ETL工具协助用户自行进行数据准备,大大 降低了非I人员使用产品的门槛。 实施周期短,维护简单 由于 Discovery特有的数据准备模块,除去原始需求沟通时间,技术人员在实施时无需花费过多的时 间来进行数据处理,而 Discover恃有的建模流程能够极大的減少需求多变导致的欻据准备和沟通交沇时间 真正做到了实施周期短,后期也无需投入过多的人力和时间来维护系统,解决需求上的变动。 A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com ● MININGLAN 明略数据 3系统架构 Discovery总体上属于客户端服务器(B/S)架构。 它基于大数据技术构建,可同时攴持大数据平台和传统的 RDBMS;提供文本文件、JDBC、Cube、Se arch等多类型的数据源攴持;支持 ROLAP和 MOLAP两类OLAP分析模型;支持细粒度的访问闩权限控制 Discovery各个部分的主要功能如下表所示: 模块 组件 主要功能 ERP/CRM 支持对接客户已有系统。 CDH/Hortonworks支持对接其他商用发行版。 数据源 RDBMS 支持对接常见的关系型数据库。 Excel/ Csv 支持常用的文本文件格式。 MOLAP Cube 配置多维 OLAP Cube的维度、指标、数据更新方 式等。 数据预处理 Search index 配置针对非结构化数据(也可以是结构化数据)的 索引。 OLAP Engine 支持 ROLAP、 MOLAP两种OLAP分析,为上层交 互提供 Roll up、 Drill down、 Slice&Dice等支 撑 Ad-hoc Engine 针对关系型数据库提供的査询引擎,支持常见的 数据引擎 RDBMS、Hive、 Impala等。 Search Engine 针对非结构化数据提供的搜索引擎,支持对文本、 图片等非结构化数据的检索分析,同时也支持对 结构化数据进行明细粒度的分析。 Security BI Server提供针对访问连接(Htps)、身份认证等 安全保证的功能,确保数据安全不外泄。 Administration 针对 Dashboard、图表、数据预处理、分享等的 BI Server 权限控制,同时攴持细粒度的数据访问权限控制。 Business logic 提供针对工作流、配置等的业务流程管理。 Repository 管理数据库、表、Cube、索引等。 Report Engine 通过可视化界面创建到CSV、 RDBMS、Cube和I ndex的连接Drag&Drop数据源中的维度和指 交互分析引擎 标,选择图表展现样式,生成 chart。 Discovery 基于D3渲染图表,可支持大部分常用的展现形式 并支持自定义。 Dashboard Design将 Report Engines成的图组装为 Dashboard, A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com ● MININGLAN 明略数据 er 并提供自定义样式等的接口 Discovery对外提供的 Dashboard接口和 Report API 接口,方便第三方App将 Dashboard和 Report整 合入 将API下引擎提供的各类功能封装为基于Htm5 可视化 的网页,支持pc、 mobile等展现和下载、分享。 31数据引擎 Discovery的数据引擎包括OLAP、Ad-ho和 Search三部分,分别面向基 cUbe的查询、即席查询和 明细搜索三种业务场景,并由 bI Serve进行统一调度 Discovery的oLAP引擎以 Discovery的多维数据库为核心,旨在对原始数据进行抽取,转换和加载, 支撑 Discovery的在线分析,是 Discovery必不可少的一部分。 Discovery的oLAP引擎同时支持 ROLAP和 MOLAP两种模式,并且基于 Hadoop生态系统进行了针对性的优化。OLAP引擎支持使用离线cube进行数 据存储,支持cube数据定时全量以及增量更新。 Discovery的 Ad-hod引擎基于大数据生态体系的SqL引擎构建,支持在海量数据集上进行分钟级别的 即席查询。 Discovery的 Search引擎攴持对数据进行 Fraw data级别的探索发现,在可观的时间延迟内,支持对原 始数据集进行灵活的数据探索分析。 3.2 BI Server BI Server支持对 Discovery平台內的元数据、权限等进行统授权管理。 BI Server可支持到行列级别 的数据权限管理。 33交互分析模块 Discovery的分析模块以 Dashboard为分析的载体,每个分析中可向 Dashboard内加入任意数量的组 件和控件。所有分析中的操作均通过拖拽和点击完成,无需写SQL。 支持任意维度和指标的切换,可以对已有的表样字段进行切换,从而进行自由分析。任意维度和指标 切换的功能保障了当查看分析的人员在査看分析时,如果针对已有的表样产生额外的分析需求或改变了已 有的分析需求,不需要重新制作一次分析,而可以直接通过切换维度和指标实现。 可以选择数据快速创建表格或者图表以使欻据可视化、添加过滤条件筛选数据,即时排序,使数据分 析更快捷。 A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com ● MININGLAN 明略数据 3.4 API Discovery提供灵活的数据接口,对于有一定开发能力或者已有可视化工具的客户, Discovery可以通 过标准的数据接口对外输岀经过处理和分析的数据,帮助用户快速的生成定制报表。 A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com S MININGLAMP 明略数据 4功能介绍 Discovery功能模块可以分为数据处理、査询引擎、OLAP分析、 Dashboard和权限管理。下面介绍貝 体的功能模块以及权限控制 41数据处理 411数据源 4111文本数据源 Discovery攴持用户将CSV、EXce等文本类型的文件导入分析。用户可以选择文件的本地路径、编码、 分隔符等信息,并且 Discovery提供文本内容的预览功能。 病码UTF8 分隔 外形 分号 ②双 请种入兵他分阳符 配置好文本的信息后,可以对文本的具体字段再迸行编辑: 拓倍 RowD Numeric Discount s:ring 31 ShippIng Cost Sring 21 4 Product ( ategory X取药 A.北京市昌平区中东路398号中煤建设大厦1号楼4层邮政编码:10218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T.010-8423389f.010-56842040Ii.www.mininglamp.com

...展开详情
试读 25P 明略数据Discovery大数据商务智能平台产品白皮书.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 分享王者

关注 私信
上传资源赚钱or赚积分
最新推荐
明略数据Discovery大数据商务智能平台产品白皮书.pdf 50积分/C币 立即下载
1/25
明略数据Discovery大数据商务智能平台产品白皮书.pdf第1页
明略数据Discovery大数据商务智能平台产品白皮书.pdf第2页
明略数据Discovery大数据商务智能平台产品白皮书.pdf第3页
明略数据Discovery大数据商务智能平台产品白皮书.pdf第4页
明略数据Discovery大数据商务智能平台产品白皮书.pdf第5页

试读结束, 可继续读3页

50积分/C币 立即下载 >