ApacheKylin在在4399大数据平台的应用大数据平台的应用
背 景
在开始案例分享前，先简单介绍一下 4399 以及 4399 的大数据团队
1.4399 是中国最早的和领先的在线休闲小游戏平台，日活跃达 2000 多万
2.4399 游戏盒是 4399 旗下的手游分发平台，日活过 350w
3.4399 的大数据团队规模在 15 人左右，主要工作内容为游戏推荐、游戏搜索、竞价广告，多维分析、大数据平台等等
4399 从 Kylin v1.5 版本开始使用，使用版本也随着官方版本的升级在升级，现生产系统两个版本同时在运行：Kylin v2.0.0、
Kylin v2.3.0，共有 20 个 Cube 为我们的大数据平台提供分析服务，如漏斗模型分析等。其中最大的 Cube，每到周末需要构
建 2.5 亿条的数据，18 个维度，9 个指标，构建耗时 80 分钟左右。Kylin 的引入使用主要帮我们解决了三大问题：
提供 ANSI-SQL 接口，让统计分析由繁杂变得简单。
1.解决口径不一致问题。原先每个需求过来，需要重写统计逻辑，编写人员不同就会导致口径不一致，数据出入较大，校准工
作量大。现在统一整理一张事实表，相关需求通过 SQL 查询同一张表，口径一致，校准简易。
2.增加维度或者指标时，大大降低了所需工作量。
3.解决这三大问题的同时，Kylin 还保证了快速的响应时间。Kylin 维度组合设计的合理性特点，不仅能够减少 Cube 构建时
间，还能让我们获得合理的查询响应时间。现生产最大的事实表，包含 18 个维度、9 个指标，95% 的 SQL 能在 3 秒以内返
回正确结果。
4399 大数据平台介绍
随着业务的增加，4399 的数据规模呈爆炸式增长，想要完整的收集数据，并从数据中挖掘出商业价值，大数据平台的引入势
在必行。我司在前几年开始引入大数据平台，使用流行的开源的组件，搭建出符合公司业务需求的平台。为了保证数据落盘幂
等操作、写入消费的 Exactly-One，我们相应地开发一些小工具。
资源评论
weixin_38670529
- 粉丝: 3
- 资源: 927
最新资源
- 生命太短暂，没有时间进行测试.zip
- 斐讯K2刷机包通用版本
- 此脚本在 Berkeley Deep Drive 数据集上执行 K-means 聚类，以找到适合 YOLOv3 的锚框 它最初有 9 个锚框，图像大小为 608x608 如有任何问题，请告诉我.zip
- tc3xx tool memtool
- Quartus时序分析与时序约束使用指导
- 此存储库提供了在 tensorRT 中以 int8 模式运行 yolov3 的示例.zip
- 此代码是与 TensorRT 框架一起使用的经过训练的 YOLO 神经网络的实现 .zip
- 检测并跟踪视频流中的车辆，并计算通过指定线路的车辆数量 .zip
- 根据 YOLO 格式标注在原始图片上绘制边界框 帮助检查标注的正确性并提取带有错误边界框的图片 .zip
- 标签文件转换器xml 到 yolo.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
