Kylin在贝壳的性能挑战和HBase优化实践
54 浏览量
2021-01-27
11:14:19
上传
评论
收藏 1.25MB PDF 举报
Kylin在贝壳的性能挑战和在贝壳的性能挑战和HBase优化实践优化实践
Kylin 在贝壳的使用情况介绍
Kylin 从 2017 年开始作为贝壳公司级 OLAP 引擎对外提供服务， 目前有 100 多台 Kylin 实例；有 800 多个 Cube；有 300 多
T 的单副本存储；在贝壳 Kylin 有两套 HBase 集群，30 多个节点，Kylin 每天的查询量最高 2000+万 。
我们负责 Kylin 同事张如松在 2018 年 Kylin Meetup 上分享过Kylin在贝壳的实践，当时每天最高请求量是 100 多万，两年的
时间里请求量增加了 19 倍；我们对用户的查询响应时间承诺是 3 秒内的查询占比要达到 99.7%，我们最高是达到了 99.8%。
在每天 2000+W 查询量的情况下，Kylin 遇到很多的挑战，接下来我将为大家介绍一下我们遇到的一些问题，希望能给社区的
朋友提供一些参考。
Kylin HBase 优化
表/Region 不可访问
1）现象：
凌晨构建 Cube 期间，会出现重要表的某个 region 不可访问导致构建失败的情况，右上角的图是 HBase 的 meta 表不可访问
的日志；白天查询时也有部分查询因为数据表某个 Region 不可访问导致查询超时的情况，右下角的图是查询数据表 Region
超时的日志；另外一个现象是老的 Kylin 集群 Region 数量达到 16W+，平均每台机器上 1W+个 Region，这导致 Kylin HBase
集群建表和删表都非常慢，凌晨构建会出现建表卡住的现象，同时清理程序删除一张表需要三四分钟的时间，面对这样的情
况，我们做了一些改进。
2）解决方案：
评论0