Apache Kylin权威指南(第2版)
电子书推荐
-
Apache Kylin权威指南 评分:
非常详细的Apache Kylin使用教程,从安装到使用以及优化都做了详细介绍。 一个好的 产品首先要有一个清晰的定位,要有一套能够明确解决行业痛点的方 案。Kylin在这点上做得非常好,它把自己定义为Hadoop大数据平台上的 一个开源OLAP引擎。三个关键词:Hadoop、开源、OLAP,使它的定位一 目了然,不用过多地解释。同时,Kylin也是透明的,不像许多产品把自己 使用的技术搞得很神秘,Kylin沿用了原来数据仓库技术中的Cube概念, 把无限数据按有限的维度进行“预处理”,然后将结果(Cube)加载到 HBase里,供用户查询使用,使得现有的分析师和业务人员能够快速理解 和掌握。相比于IOE时代的BI,它非常巧妙地使用了Hadoop的分布式存储 与并行计算能力,用横向可扩展的硬件资源来换取计算性能的极大提 高。 目录 推荐序一 推荐序二 推荐序三 推荐序四 前言 第1章 Apache Kylin概述 1.1 背景和历史 1.2 Apache Kylin的使命 1.2.1 为什么要使用Apache Kylin 1.2.2 Apache Kylin怎样解决关键问题 1.3 Apache Kylin的工作原理 1.3.1 维度和度量简介 1.3.2 Cube和Cuboid 1.3.3 工作原理 1.4 Apache Kylin的技术架构 1.5 Apache Kylin的主要特点 1.5.1 标准SQL接口 1.5.2 支持超大数据集 1.5.3 亚秒级响应 1.5.4 可伸缩性和高吞吐率 1.5.5 BI及可视化工具集成 1.6 与其他开源产品比较 1.7 小结 第2章 快速入门 2.1 核心概念 2.1.1 数据仓库、OLAP与BI 2.1.2 维度和度量 2.1.3 事实表和维度表 2.1.4 Cube、Cuboid和Cube Segment 2.2 在Hive中准备数据 2.2.1 星形模型 2.2.2 维度表的设计 2.2.3 Hive表分区 2.2.4 了解维度的基数 2.2.5 Sample Data 2.3 设计Cube 2.3.1 导入Hive表定义 2.3.2 创建数据模型 2.3.3 创建Cube 2.4 构建Cube 2.4.1 全量构建和增量构建 2.4.2 历史数据刷新 2.4.3 合并 2.5 查询Cube 2.6 SQL参考 2.7 小结 第3章 增量构建 3.1 为什么要增量构建 3.2 设计增量Cube 3.2.1 设计增量Cube的前提 3.2.2 增量Cube的创建 3.3 触发增量构建 3.3.1 Web GUI触发 3.3.2 构建相关的Rest API 3.4 管理Cube碎片 3.4.1 合并Segment 3.4.2 自动合并 3.4.3 保留Segment 3.4.4 数据持续更新 3.5 小结 第4章 流式构建 4.1 为什么要流式构建 4.2 准备流式数据 4.2.1 数据格式 4.2.2 消息队列 4.2.3 创建Schema 4.3 设计流式Cube 4.3.1 创建Model 4.3.2 创建Cube 4.4 流式构建原理 4.5 触发流式构建 4.5.1 单次触发 4.5.2 自动化多次触发 4.5.3 出错处理 4.6 小结 第5章 查询和可视化 5.1 Web GUI 5.1.1 查询 5.1.2 显示结果 5.2 Rest API 5.2.1 查询认证 5.2.2 查询请求参数 5.2.3 查询返回结果 5.3 ODBC 5.4 JDBC 5.4.1 获得驱动包 5.4.2 认证 5.4.3 URL格式 5.4.4 获取元数据信息 5.5 通过Tableau访问Kylin 5.5.1 连接Kylin数据源 5.5.2 设计数据模型 5.5.3 通过Live方式连接 5.5.4 自定义SQL 5.5.5 可视化 5.5.6 发布到Tableau Server 5.6 Zeppelin集成 5.6.1 Zeppelin架构简介 5.6.2 KylinInterpreter的工作原理 5.6.3 如何使用Zeppelin访问Kylin 5.7 小结 第6章 Cube优化 6.1 Cuboid剪枝优化 6.1.1 维度的诅咒 6.1.2 检查Cuboid数量 6.1.3 检查Cube大小 6.1.4 空间与时间的平衡 6.2 剪枝优化的工具 6.2.1 使用衍生维度 6.2.2 使用聚合组 6.3 并发粒度优化 6.4 Rowkeys优化 6.4.1 编码 6.4.2 按维度分片 6.4.3 调整Rowkeys顺序 6.5 其他优化 6.5.1 降低度量精度 6.5.2 及时清理无用的Segment 6.6 小结 第7章 应用案例分析 7.1 基本多维分析 7.1.1 数据集 7.1.2 数据导入 7.1.3 创建数据模型 7.1.4 创建Cube 7.1.5 构建Cube 7.1.6 SQL查询 7.2 流式分析 7.2.1 Kafka数据源 7.2.2 创建数据表 7.2.3 创建数据模型 7.2.4 创建Cube 7.2.5 构建Cube 7.2.6 SQL查询 7.3 小结 第8章 扩展Apache Kylin 8.1 可扩展式架构 8.1.1 工作原理 8.1.2 三大主要接口 8.2 计算引擎扩展 8.2.1 EngineFactory 8.2.2 MRBatchCubingEngine2 8.2.3 BatchCubingJobBuilder2 8.2.4 IMRInput 8.2.5 IMROutput2 8.3 数据源扩展 8.4 存储扩展 8.5 聚合类型扩展 8.5.1 聚合的JSON定义 8.5.2 聚合类型工厂 8.5.3 聚合类型的实现 8.6 维度编码扩展 8.6.1 维度编码的JSON定义 8.6.2 维度编码工厂 8.6.3 维度编码的实现 8.7 小结 第9章 Apache Kylin的企业级功能 9.1 身份验证 9.1.1 自定义验证 9.1.2 LDAP验证 9.1.3 单点登录 9.2 授权 9.3 小结 第10章 运维管理 10.1 安装和配置 10.1.1 必备条件 10.1.2 快速启动Apache Kylin 10.1.3 配置Apache Kylin 10.1.4 企业部署 10.2 监控和诊断 10.2.1 日志 10.2.2 任务报警 10.2.3 诊断工具 10.3 日常维护 10.3.1 基本运维 10.3.2 元数据备份 10.3.3 元数据恢复 10.3.4 系统升级 10.3.5 垃圾清理 10.4 常见问题和修复 10.5 获得社区帮助 10.5.1 邮件列表 10.5.2 JIRA 10.6 小结 第11章 参与开源 11.1 Apache Kylin的开源历程 11.2 为什么参与开源 11.3 Apache开源社区简介 11.3.1 简介 11.3.2 组织构成与运作模式 11.3.3 项目角色 11.3.4 孵化项目及顶级项目 11.4 如何贡献到开源社区 11.4.1 什么是贡献 11.4.2 如何贡献 11.5 礼仪与文化 11.6 如何参与Apache Kylin 11.7 小结 第12章 Apache Kylin的未来 12.1 大规模流式构建 12.2 拥抱Spark技术栈 12.3 更快的存储和查询 12.4 前端展现及与BI工具的整合 12.5 高级OLAP函数 12.6 展望
上传时间:2018-02 大小:15.9MB
- 20.33MB
Apache+Kylin权威指南
2019-04-19Apache+Kylin权威指南,
- 20.33MB
Apache_Kylin权威指南.PDF
2017-08-14Apache Kylin是基于Hadoop大数据平台的开源OLAP引擎,为超大规模数据集提供快速交互式分析能力,在万亿规模数据上提供亚秒级的查询性能。本书由Apache Kylin核心团队(PMC member)编写,系统地介绍了Apache Kylin的 背景、原理、基础知识、调优、运维、二次开发等 各个方面,是关于Apache Kylin的权威指南
- 20.36MB
Apache Kylin 权威指南
2018-02-12清晰的文字,是快速入门OLAP,学习使用kylin的入门神器 ps:让我填所属分类,好bt,要么你就整个全一点的数据库,分类多点,找了半天没有找到OLAP,KYLIN;让我没得选,只能选择大数据->hive了,比较相近了
- 72.91MB
kylin权威使用指南
2018-06-06kylin权威使用指南kylin权威使用指南kylin权威使用指南
- 66.29MB
Apache Kylin技术文档(包括权威指南)
2017-11-21网上收集的一些Apache Kylin技术文档,包括Apache Kylin权威指南
- 191.6MB
项目源码:基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计
2023-10-30项目源码:基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术,实现招聘推荐和可视化展示的应用系统。以下是该系统的主要介绍: 数据采集:系统通过各种渠道(如招聘网站、社交媒体等)获取大量的招聘相关数据,包括职位信息、公司信息、求职者信息等。这些数据以结构化或半结构化形式存在。 数据存储与处理:系统利用Hadoop分布式文件系统(HDFS)存储采集到的招聘数据,并使用Hadoop生态圈中的工具(如Hive、HBase等)进行数据处理和管理。Spark作为数据处理引擎,提供高性能的批处理和实时计算能力,对招聘数据进行清洗、转换和特征提取等操作。 招聘推荐:系统利用Spark的机器学习库(如MLlib)构建候选模型,通过对求职者的个人资料、工作经历、技能等特征进行分析,匹配合适的职位和公司。系统可以根据用户的偏好和需求,向其推荐最相关的招聘信息。 可视化展示:系统利用可视化工具(如matplotlib、Plotly等)将招聘数据以各种图表、图形等形式可视化展示。
- 685.0MB
hadoop-3.3.4.tar.gz + winutils 安装环境
2023-08-03【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils ) https://hanshuliang.blog.csdn.net/article/details/132045605 一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量 四、配置 Hadoop 环境脚本 五、安装 winutils 六、重启电脑 七、验证 Hadoop 安装效果
- 1.49MB
基于Hadoop的电影影评数据分析
2023-04-04是大数据课程大作业,基于Hadoop的电影影评数据分析,需要安装Hadoop,了解MapReduce 和HDFS。
- 1.65MB
基于大数据的音乐推荐系统(适合本科毕设)
2023-02-02主要是用于大家对于大数据的基本处理,适合大学生本科毕设的参考。
- 191.6MB
基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计(源码下载)
2023-10-21基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计(源码下载) 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术,实现招聘推荐和可视化展示的应用系统。以下是该系统的主要介绍: 数据采集:系统通过各种渠道(如招聘网站、社交媒体等)获取大量的招聘相关数据,包括职位信息、公司信息、求职者信息等。这些数据以结构化或半结构化形式存在。 数据存储与处理:系统利用Hadoop分布式文件系统(HDFS)存储采集到的招聘数据,并使用Hadoop生态圈中的工具(如Hive、HBase等)进行数据处理和管理。Spark作为数据处理引擎,提供高性能的批处理和实时计算能力,对招聘数据进行清洗、转换和特征提取等操作。 招聘推荐:系统利用Spark的机器学习库(如MLlib)构建候选模型,通过对求职者的个人资料、工作经历、技能等特征进行分析,匹配合适的职位和公司。系统可以根据用户的偏好和需求,向其推荐最相关的招聘信息。 可视化展示:系统利用可视化工具(如matplotlib、Plotly等)将招聘数据以各种图表、图形等形式可视化展示。例如,
- 21.24MB
适用于hadoop 3.3.5 3.3.6版本的winutils
2023-10-08winutils文件合集,Hadoop3.3.5以及3.3.6可用 winutils.exe是在windows系统上安装hadoop时所需要的winutils文件,内附多个版本,支持 hadoop-3.3.5 hadoop-3.3.6
- 1.26MB
数据科学导论实验报告 实验1:常用Linux操作和 Hadoop操作
2023-04-30数据科学导论 实验1:常用Linux操作和 Hadoop操作 1、Linux虚拟机安装和操作 2、Hadoop安装和操作 1)创建Hadoop用户 2)SSH登录权限设置 3)安装Java环境 4)单机安装配置 5)伪分布式安装配置
- 177.69MB
淘宝用户行为数据集
2019-01-053182257条数据,可做推荐系统,数据分析 它包含字段(id, uid,age,gender,item_id, behavior_type, item_category, date, province) //1.浏览、2.收藏、3.加购物车 4.购买 7.统计各省的前十热门关注产品(浏览+收藏+添加购物车+购买总量最多前10的产品) 8.统计各省的前十热门购买产品(销售最多前10的产品) 9.统计各省销售最好的产品类别前10(销售最多前10的产品类别) 10.统计各省男女用户数量(gender 0:男 1:女 2:未知)
- 7.75MB
中文官方教程_tableau_prep.pdf
2021-04-13数据分析,数据挖掘,ETL处理工程师等。
- 322.41MB
hadoop-3.1.3.tar.gz
2022-01-24[免费]hadoop-3.1.3官网的包 你们CSDN上的这些人是有多不要脸,这玩意还要积分,怎么滴,你们写出来的hadoop?
- 19.46MB
数据中台建设方案.docx
2021-08-29数据中台建设方案,word版本,可以用于各类技术方案编写,投标。
- 15.24MB
Hadoop 之 winutils
2022-01-21在windows上运行Hadoop相关程序时报错问题解决(比如Spark) 如果需要积分或者校验码,可以去百度网盘中下载,地址如下: 链接:https://pan.baidu.com/s/1RVpmbtjuQL3lbAEYfjr2EA 提取码:1234
- 21.94MB
winutils-master.zip
2021-12-24hadoop各版本hadoop.dll和winutils
- 10KB
cdh6需要的allkeys.asc
2022-04-27在安装cdh6.3.2时提示找不到allkeys.asc的问题解决办法,解压出来的文件放到/var/www/html/cm6下,此目录名cm6称根据你实际配置修改即可。此文件适合cdh6所有版本。提供免费下载,欢迎下载! 把解压出来的文件allkeys.asc放到你自己目录即可
- 5.9MB
企业数据中台建设.pdf
2020-08-12DT 时代,很多公司包括传统型企业都纷纷加入到数字化转型的队伍中来,数据的价值变现显得越来越重要。那么如何挖掘更多的企业数据价值呢,数据中台就是目前的一个最主要手段,数据中台改变了企业原来利用数据的形式(传统数仓、BI),通过业务数据化、数据资产化、资产服务化、服务业务化的四化良性高效闭环,加速了从数据资源到数据资产到价值变现的过程,提高了企业的业务响应力、创新力、价值力。通过降本增效,数据化智能运营,打造出数据驱动的智能化企业,从而更高效的为企业创造更多的价值。 本篇文章将从以下几个方面介绍整个数据中台建设的体系方案: 1. 为什么需要数据中台 2. 哪些企业适合做数据中台 3. 数据中台建设有哪些方法论和策略 4. 数据中台核心内容的建设方案 5. 业界一些数据中台建设分享资料
- 23.38MB
牛客大数据面试题集锦+答案,共523道,46W+字。大厂必备
2022-09-04大数据面试题V3.0完成了。共523道题,679页,46w+字,来源于牛客870+篇面经。 主要分为以下几部分: Hadoop面试题:100道 Zookeeper面试题:21道 Hive面试题:47道 Flume面试题:11道 Kafka面试题:59到 HBase面试题:36道 Spark面试题:97道 Flink面试题:40道 数仓面试题:25道 综合面试题:43道 数据库(MySQL)面试题:44道 面试题总结是一个长期工作,面试不停,这份面试题总结就不会停。以后会慢慢把Java相关的面试题、计算机网络等都加进来,其实这不仅仅是一份面试题,更是一份面试参考,让你熟悉面试题各种提问情况,当然,项目部分,就只能看自己了,毕竟每个人简历、实习、项目等都不一样。面试题总结是一个长期工作,面试不停,这份面试题总结就不会停。以后会慢慢把Java相关的面试题、计算机网络等都加进来,其实这不仅仅是一份面试题,更是一份面试参考,让你熟悉面试题各种提问情况,当然,项目部分,就只能看自己了,毕竟每个人简历、实习、项目等都不一样。面试题总结是一个长期工作,面试不停,这份面试题总结就不会停。
- 1.11MB
基于Hadoop豆瓣电影数据分析实验报告
2022-06-16豆瓣用户每天都在对“看过”的电影进行“很差”到“力荐”的评价,豆瓣根据每部影片看过的人数以及该影片所得的评价等综合数据,通过算法分析产生豆瓣电影 Top 250。 为了分析电影产业的发展趋势,本次实验需要对这些信息做统计分析。 注意:豆瓣网站的数据形式为文本文件(必须将导入到hive中做处理)。也可以为CSV文件,例如下图: 针对本次实验,我们需要用到Hadoop集群作为模拟大数据的分析软件,集群环境必须要包括,hdfs,hbase,hive,flume,sqoop等插件,最后结合分析出来的数据进行可视化展示,需要用到Python(爬取数据集,可视化展示)或者echarts等可视化工具。
- 155.24MB
jdk1.8.0_201.rar
2021-12-07jdk1.8.0_201.rar
- 27KB
hadoop课后题带答案
2023-03-19Hadoop期末考试复习
- 428KB
数据科学导论实验报告 实验2:熟悉常用的HDFS操作
2023-04-30数据科学导论 实验2:熟悉常用的HDFS操作 1. 编程实现以下指定功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: 2. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”,要求如下:实现按行读取 HDFS 中指定文 件的方法“readLine()”,如果读到文件末尾,则返回空,否则返回文件 一行的文本。 3. 查看 Java 帮助手册或其它资料,用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出 HDFS 中指定文件 的文本到终端中。
- 336KB
大数据技术原理与应用【林子雨】上机实验一
2022-04-04大数据技术原理与应用【林子雨】上机实验,自己实验课上写的,可能有错,供各位参考。
- 0B
Ambari2.7.6+HDP3.3.1 离线安装网盘下载地址
2022-11-05支持x86_64和ARM64(aarch64)
- 1.27MB
大数据实验5实验报告:MapReduce 初级编程实践
2022-06-20林子雨大数据原理与技术第三版实验5实验报告 大数据技术与原理实验报告 MapReduce 初级编程实践 姓名: 实验环境: 操作系统:Linux(建议Ubuntu16.04); Hadoop版本:3.2.2; 实验内容与完成情况: (一)编程实现文件合并和去重操作 对于两个输入文件,即文件 A 和文件 B,请编写 MapReduce 程序,对两个文件进行合并, 并剔除其中重复的内容,得到一个新的输出文件 C。下面是输入文件和输出文件的一个样例 供参考。 输入文件 A 的样例如下:
- 6.57MB
大数据实验报告(实验一到八)
2022-04-20实验一: 熟悉常用的Linux操作和Hadoop操作 实验二: 熟悉常用的HDFS操作 实验三: 熟悉常用的HBase操作 实验四: 熟悉常用的mongoDB数据库操作 实验五: MapReduce初级编程实践 实验六: 熟悉Hive的基本操作 实验七: Spark初级编程实践 实验八: Flink初级编程实践
- 70B
cdh6.3.2+cm6.3.1+gpl安装包.txt
2020-09-10百度云资源,官网下载慢所以上传上来了 cdh6.3.2安装包 cloudera 6.3.1安装包 gpl 安装包