kylin简介核心概念工作机制

Kylin

Apache kylin 的核心概念

 表（）：表定义在  中，是数据立方体（）的数据源，在 

之前，必须同步在 中。

 模型（）模型描述了一个星型模式的数据结构，它定义了一个事实表（ 

：）和多个查找表（：）的连接和

过滤关系。

 立 方 体 （  ） ： 它 定 义 了 使 用 的 模 型 、 模 型 中 的 表 的 维 度

联的  即可。

 作业（#）：对立方体实例发出构建（）请求后，会产生一个作业。该作业记录

了立方体实例  时的每一步任务信息。作业的状态信息反映构建立方体实例的结果

信息。如作业执行的状态信息为 $%&&'&(时，表明立方体实例正在被构建；若作业状

态信息为 '&'!)*，表明立方体实例构建成功；若作业状态信息为 *$$+$，表明立方

体实例构建失败！作业的所有状态如下：

&* ,,-

.*&'&( ,,/"-

$%&&'&( ,-

'&'!)* ,"0-

数据立方体一般由 ) 中的一个事实表多个查找表组成。预计算的过程在  中就是

的  过程，如下图：

当前 1 构建（）数据立方体，采用逐层算法（2）。未来的发

布中将采用快速立方体算法（）。下面简单介绍一下逐层算法：

一个完整的数据立方体，由 &  立方体，& 3 立方体，& 4 维立方体，5

 立方体这样的层关系组成，除了 &  立方体，基于原数据计算，其他层

的立方体可基于其父层的立方体计算。所以该算法的核心是 & 次顺序的 6$ 计算。

在 6$ 模型中， 由维度的组合的构成， 由度量的组合构成，当一个 6 读

到一个   对时，它会计算所有的子立方体（），在每个子立方体中，

6 从  中移除一个维度，将新  和  输出到  中。直到当所有层计算完毕，

在数据立方体计算完毕后，有一个任务（ ) ），其职责是将

 输出的运算结果（）转化成 ) 中的存储载体（)），最终将 )

1架构如下：

核心组件：

数 据 立 方 体 构 建 引 擎 （   2  * ） ： 当 前 底 层 数 据 计 算 引 擎 支 持

6$3、6$4、! 等。

$!：当前  采用的 1.'、#2、+2 接口提供 / 服务。

查询引擎（8*）：$! 接收查询请求后，解析 9 语句，生成执行计划，

然后转发查询请求到 ) 中，最后将结构返回给ô$!。

网址：https://kyligence.io/zh/blog/count-distinct-bitmap/

https://kyligence.io/zh/blog/usecaseofctrip1/

https://kyligence.io/zh/blog/usecaseofctrip2/

（）表达式 17作为目前唯一同时支持精确与非精确去重查询的 +1.

引擎，非常好地覆盖了大数据上的去重需求。

场景引入

在大数据处理领域中，什么环节是你最不希望见到的？以我的观点来看，:是我最不

愿意见到的环节，因为一旦出现了非常多的:，就会占用大量的磁盘和网络'+，从而

导致任务进行得非常缓慢。而今天我们所讨论的去重分析，就是一个会产生非常多:

的场景，先来看以下场景：