Kylin入门学习资料1

KYLIN 学习资料

1、关于 KYLIN

官网地址：http://kylin.apache.org/

本质：拿空间换时间---《pre-build》

通过预计算把用户需要查询的维度以及他们所对应的考量的值，存储在多维空间里。

当用户查询某几个维度的时候，通过这些维度条件去定位到预计算的向量空间，通过

再聚合处理，快速返回最终结果给用户

Apache Kylin™ 是一个开源的分布式分析引擎，提供 Apache Hadoop 之上的 SQL 查询接

工具，前端可视化技术等无缝整合。Apache Kylin™也是第一个由中国人主导的 Apache 顶级

项目，于 2015 年 11 月正式毕业成为 Apache 顶级项目。2015 年 9 月，Apache Kylin 与 Spark、

HBase、Kafka 等并列荣膺 InfoWorld 2015 年 Bossie 最佳开源大数据工具奖。这也是国人

项目第一次获得该国际大奖。Apache Kylin™在大数据分析领域应用广泛，获得了快速的推

广。国内外一线的互联网，金融，电信等公司越来越多地采用 Apache Kylin™作为其大数据

分析平台。

2、KYLIN 介绍

KYLIN 是 Ebay 开发的一套 OLAP 系统，与 Mondrian 不同的是，它是一个 MOLAP 系统，

主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维

立方体缓存到 HBase 中（目前还仅支持 hbase），这段时间对 mondrian 和 kylin 都进行了

构化数据，一般是业务的日志信息，通过 hive 查询）、文本文件、excel 等。kylin 主要是

对 hive 中的数据进行预计算，利用 hadoop 的 mapreduce 框架实现。而 mondrian 理论上可

以支持任意的提供 SQL 接口数据，由于关系数据库一般会存在索引，所以即使使用 mondrian

去查询性能还是可以接受的，当前我们使用的 oracle 数据库，千万条级别的记录，查询可

以在分钟级别完成，但是对于 hive、这样的数据源查询就太慢了，慢得不可以接受。

2.1、KYLIN 系统架构

kylin 由以下几部分组成：

· REST Server：提供一些 restful 接口，例如创建 cube、构建 cube、刷

新 cube、合并 cube 等 cube 的操作，project、table、cube 等元数据管理、用

Java 写成的 OLAP（在线分析性处理）引）。

· Query 引擎：kylin 使用一个开源的 Calcite（Hadoop 中新型大数据查询

引擎）框架实现 SQL 的解析，相当于 SQL 引擎层。

· Routing：该模块负责将解析 SQL 生成的执行计划转换成 cube 缓存的查

询，cube 是通过预计算缓存在 hbase 中，这部分查询是可以再秒级甚至毫秒级

完成，而还有一些操作使用过查询原始数据（存储在 hadoop 上通过 hive 上查询），

这部分查询的延迟比较高。

· Metadata：kylin 中有大量的元数据信息，包括 cube 的定义，星状模型

的定义、job 的信息、job 的输出信息、维度的 directory 信息等等，元数据和

cube 都存储在 hbase 中，存储的格式是 json 字符串，除此之外，还可以选择将

2.2、KYLIN 相关名词解释

also will help to well understand such concerpt, term, knowledge, theory

and others about Data Warehouse, Business Intelligence for analycits.

- Data Warehouse: a data warehouse (DW or DWH), also known as an

enterprise data warehouse (EDW), is a system used for reporting and data

analysis, wikipedia

- Business Intelligence: Business intelligence (BI) is the set of

techniques and tools for the transformation of raw data into meaningful

and useful information for business analysis purposes, wikipedia

- OLAP: OLAP is an acronym for online analytical processing

- Fact Table: a Fact table consists of the measurements, metrics or

used dimensions are people, products, place and time, wikipedia

- Measure: a measure is a property on which calculations (e.g., sum,

count, average, minimum, maximum) can be made, wikipedia

- Join: a SQL join clause combines records from two or more tables

in a relational database,wikipedia

2.3、关键流程

在 kylin 中，最关键的两个流程是 cube 的预计算过程和 SQL 查询转换成 cube

cube 的定义，包括设置 cube 名、cube 的星状模型结构，dimension 信息、measure

信息、设置 where 条件、根据 hive 中事实表定义的 partition 设置增量 cube，

设置 rowkey 等信息，这些设置在 mondrian 中也是可以看到的，一个 cube 包含

一些 dimension 和 measure，where 条件决定了源数据的大小，在 mondrian 中可

以通过 view 实现。另外，kylin 还提供了增量计算的功能，虽然达不到实时计

面一种方式的），另外还有一个局限性就是发现只能对 cube 相关的表和列进行

查询，例如根据维度进行 group by 查询定义的度量信息，而其他的查询也统统

的返回错误，这点倒也不算是很大的问题，毕竟 cube 的模型已经定义，我们不太可能查询

这个模型以外的东西。还有一点有点不能接受的是 kylin 对于子查询的支持很弱，测试发现

查询的结果经常返回空（没有一行），而相同的查询在 hive 中是有结果的，这对于一些产

品方需求支持不是很好，例如产品方可能需要查询年销售额大于 xx 的地区的每个月的销售

总额。我们一般情况下会写出这样的 sql：select month, sum(sales) from fact where location in

(select location from fact group by year having sum(sales) > 1000) group by month;前一段时间

测试发现这种 SQL 对于关系数据库简直是灾难，因为 in 语句会导致后面的子查询没有缓存

结果，而写成 select month, sum(sales) from fact as A inner join (select location from fact group

前面介绍了 cube 在创建过程中需要的设置，这里看一下每一个设置的具体含义吧，首

先我们会设置 cube 名和 notification 列表，前者需要保证是全局唯一的，后者是一些 Email

用于通知 cube 的一些事件的发生。接着我们需要定义一个星状模型，和一般的数据仓库模

型一样，需要指定一个事实表和任意多个维度表，如果存在维度表还需要指定事实表和维

度表的关联关系，也就是 join 方式。接下来是定义 dimension，在定义 dimension 的时候可

以选择 dimension 的类型，分为 Normal、Hierachy（层次化）以及 Derived，这个后面再进行

介绍，dimension 的定义决定着 cube 的大小，也需要用户对原始的表非常了解。

接下来是定义 measure，kylin 会为每一个 cube 创建一个聚合函数为 count(1)的度量，

它不需要关联任何列，用户自定义的度量可以选择 SUM、COUNT、DISTINCT COUNT、MIN、

MAX，而每一个度量定义时还可以选择这些聚合函数的参数，可以选择常量或者事实表的某

为 A+B,而如果此时的聚合函数是 AVG，那么我们必须知道这个 key 的 count 和 sum 之后才

设定销售额小于 XXX 的地区不在于本次分析范围之内，那么就可以在 where 条件里设定

location in xxx（子查询），那么生成的 cube 会过滤掉这些 location，这一步其实相当于对无

效数据的清洗，但是在 kylin 中这个是会固化的，不容易改变，例如我今天希望将销售额小

于 XX 的地区清洗掉，明天可能有想将年消费小于 xxx 的用户去除，这就需要每次都创建一

个相同的 cube，区别仅仅在于 where 条件，他们之间会有很多的重复缓存数据，也会导致

存储空间的浪费，但这也是 MOLAP 系统不可避免的，因此当过滤条件变化比较多的时候，

更好的方案则是创建一个完整的 cube（不设置任何 where 条件），使用子查询的方式过滤

掉不希望要的一些维度成员。

接下来的一步是设置增量 cube 信息，首先需要选择事实表中的某一个时间类型的分区

列（貌似只能是按照天进行分区），然后再指定本次构建的 cube 的时间范围（起始时间点

则表示数据不会动态更新，也就不可以增量的创建 cube 了。

最后一步设置 rowkey，这一步的建议是看看就可以了，不要进行修改，除非对 kylin 内

部实现有比较深的理解才能知道怎么去修改。当然这里有一个可以修改的是 mandatory

dimension，如果一个维度需要在每次查询的时候都出现，那么可以设置这个 dimension 为

mandatory，可以省去很多存储空间，另外还可以对所有维度进行划分 group，不会组合查

询的 dimension 可以划分在不同的 group 中，这样也会降低存储空间。

C、AB、BC、AC、ABC}，每一个成员我们称为 cuboid（维度的组合），而这些集合的成员组

合个数分别为 1、10、100、1000、10*100、100*1000、10*1000 和 10*100*1000。我们称每

一个 dimension 中不同成员个数为 cardinatily，我们要尽量避免存储 cardinatily 比较高的维度

的组合，在上面的例子中我们可以不缓存 BC 和 C 这两个 cuboid，可以通过计算的方式通过

ABC 中成员的值计算出 BC 或者 C 中某个成员组合的值，这相当于是时间和空间的一个权衡

吧。

在 kylin 中存在的四种维度是为了减少 cuboid 的个数，而不是每一个维度是否缓存的，

当前 kylin 是对所有的 cuboid 中的所有组合都进行计算和存储的，对于普通的 dimension，

从上面的例子中可以看出 N 个维度的 cuboid 个数为 2 的 N 次方，而 kylin 中设置了一些维度

可以减少 cuboid 个数，当然，这需要使用者对自己需要的维度十分了解，知道自己可能根

据什么进行 group by。

这种维度意味着每次查询的 group by 中都会携带的，将某一个 dimension 设置为

mandatory 可以将 cuboid 的个数减少一半，如下图：