- “大数据技术原理与应用”课程实验报告 题目:实验六:熟悉Hive的基本操作 姓名:小猪猪 日期:2022/5/15 1、实验环境: 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE:Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况: 1.创建一个内部表 stocks,字段分隔符为英文逗号,表结构如下所示: stocks 表结构:5 4649浏览¥ 5.90
- hive大小:24MB配合实战使用~配合实战使用~5 1328浏览¥ 5.90
- 数据仓库大小:641KB行政区域维度表、时间维度表、日期维度表,表结构、表数据、建表语句、生成数据的python脚本。行政区域维度表、时间维度表、日期维度表,表结构、表数据、建表语句、生成数据的python脚本。5 1099浏览¥ 5.90
- 数据仓库大小:214MB数据仓库理论学习与实践资料合集,共104份。 数据仓库工具箱(6份) 数据仓库基础培训课件(英文版)(14份) 数据仓库全套模板(命名+事实表+维度表+业务表+指标体系)(6份) 数据仓库设计建模(11份) 数据仓库原理、设计与应用课件(7章) 淘宝移动电信招商银行数据仓库实例(6份) Oracle数据仓库资料(7份) SQL_SERVER构建数据仓库(1份) 了解数据仓库及其应用 数据仓库建模技术 数据仓库介绍课件 数据仓库设计 数据仓库与OLAP 数据集市建设、数据质量及数据管理方法 OLAP及数据仓库讲解 EDW_(DM数据仓库数据建模)模型设计 关于bi工具选型的参考依据 商务智能技术在银行业务中基于数据仓库的研究与实现 数据仓库_历史与现在发展状况 数据仓库分析系统整体设计方案 数据仓库基本操作 数据仓库设计 数据仓库学习笔记 数据仓库总体设计报告 为什么要建立数据仓库 数据仓库建模与ETL实践技巧 ETL构建数据仓库五步法 标准的数据仓库建模应用之维度 对数据仓库进行数据建模 关键绩效指标:KPI的开发、实施和应用 基于多维数据库的MOLAP存储及查询技术研究 基于企业架构(EA)的企业信息化建设模型 将Excel资料汇入PowerDesigner 企业数据仓库在大数据分析时代的角色变迁 商业智能研究分析报告 数据仓库_使用手册 数据仓库:业务维量周期 数据仓库 数据仓库(DW)初阶 数据仓库工具介绍文章汇总 数据仓库工具箱:维度建模的完全指南 数据仓库技术架构及方案 数据仓库建模教程 数据仓库生命周期工具箱 数据仓库实例 数据仓库数据架构设计 数据仓库维度建模设计原则及应用 数据仓库元数据管理 数据仓库中的粒度 数据仓库主题建模点滴 数据分析系统解决白皮书 数据库实施手册 主流数据仓库产品对比分析 OLAP解决方案:创建多维信息系统数据仓库理论学习与实践资料合集,共104份。 数据仓库工具箱(6份) 数据仓库基础培训课件(英文版)(14份) 数据仓库全套模板(命名+事实表+维度表+业务表+指标体系)(6份) 数据仓库设计建模(11份) 数据仓库原理、设计与应用课件(7章) 淘宝移动电信招商银行数据仓库实例(6份) Oracle数据仓库资料(7份) SQL_SERVER构建数据仓库(1份) 了解数据仓库及其应用 数据仓库建模技术 数据仓库介绍课件 数据仓库设计 数据仓库与OLAP 数据集市建设、数据质量及数据管理方法 OLAP及数据仓库讲解 EDW_(DM数据仓库数据建模)模型设计 关于bi工具选型的参考依据 商务智能技术在银行业务中基于数据仓库的研究与实现 数据仓库_历史与现在发展状况 数据仓库分析系统整体设计方案 数据仓库基本操作 数据仓库设计 数据仓库学习笔记 数据仓库总体设计报告 为什么要建立数据仓库 数据仓库建模与ETL实践技巧 ETL构建数据仓库五步法 标准的数据仓库建模应用之维度 对数据仓库进行数据建模 关键绩效指标:KPI的开发、实施和应用 基于多维数据库的MOLAP存储及查询技术研究 基于企业架构(EA)的企业信息化建设模型 将Excel资料汇入PowerDesigner 企业数据仓库在大数据分析时代的角色变迁 商业智能研究分析报告 数据仓库_使用手册 数据仓库:业务维量周期 数据仓库 数据仓库(DW)初阶 数据仓库工具介绍文章汇总 数据仓库工具箱:维度建模的完全指南 数据仓库技术架构及方案 数据仓库建模教程 数据仓库生命周期工具箱 数据仓库实例 数据仓库数据架构设计 数据仓库维度建模设计原则及应用 数据仓库元数据管理 数据仓库中的粒度 数据仓库主题建模点滴 数据分析系统解决白皮书 数据库实施手册 主流数据仓库产品对比分析 OLAP解决方案:创建多维信息系统5 979浏览¥ 109.90
- 数据人进化宝典,共813页。内容包含数据分析、数据仓库、数据架构、数据治理等等。5 464浏览¥ 54.90
- 源码软件大小:31MBcdh-hive2.1.1版本orc文件读取数据报错替换包: Caused by: java.lang.ArrayIndexOutOfBoundsException: 7 at org.apache.orc.OrcFile$WriterVersion.from(OrcFile.java:145) at org.apache.orc.impl.OrcTail.getWriterVersion(OrcTail.java:74) at org.apache.orc.impl.ReaderImpl.<init>(ReaderImpl.java:385) at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.<init>(ReaderImpl.java:62) at org.apache.hadoop.hive.ql.io.orc.OrcFile.createReader(OrcFile.java:89) at org.apache.hadoop.hive.ql.io.orc.VectorizedOrcInputFormat.getRecordcdh-hive2.1.1版本orc文件读取数据报错替换包: Caused by: java.lang.ArrayIndexOutOfBoundsException: 7 at org.apache.orc.OrcFile$WriterVersion.from(OrcFile.java:145) at org.apache.orc.impl.OrcTail.getWriterVersion(OrcTail.java:74) at org.apache.orc.impl.ReaderImpl.<init>(ReaderImpl.java:385) at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.<init>(ReaderImpl.java:62) at org.apache.hadoop.hive.ql.io.orc.OrcFile.createReader(OrcFile.java:89) at org.apache.hadoop.hive.ql.io.orc.VectorizedOrcInputFormat.getRecord5 751浏览¥ 5.90
- 数据仓库大小:331MB推荐,数据仓库建设学习资料合集,包含建设规范、架构、工具及模型等资料。共38份。 2021数据仓库服务常见问题-华为-51页 2021云数据仓库专业服务-华为-168页 阿里云数据中台-金融行业新一代数据仓库解决方案 分布式数据仓库 构建可靠的数据仓库 模板-数据仓库整体设计方案 企业大数据平台数仓架构建设思路 商业银行数据仓库系统V2.0 数据仓库-数据集市-BI-数据分析 数据仓库工具箱 维度建模权威指南(第3版) 数据仓库技术架构及方案 数据仓库架构、模型、调度、指标建设方案 数据仓库建模与ETL的实践技巧 数据仓库建设规范模板 数据仓库设计-221页 数据仓库生命周期工具箱 数据仓库体系架构、主要过程与技术介绍 数据仓库之数据质量建设方案 数据仓库ETL工具箱 数据人进化宝典-813页(数据分析+数据仓库+数据架构+数据治理等等) 数据治理:数据仓库的数据质量管理规范 数据治理及数据仓库模型设计 搜狐智能媒体在数据仓库体系建设中的技术实践 元数据管理在数据仓库的实践应用 Hadoop数据仓库实践 IBM Netezza 数据仓库设备架构 SaaS模式云数据仓库实践手册 58交易营销数据仓库建设 数据仓库与数据挖掘: - 基于数据仓库的数据挖掘技术 - 数据仓库和数据挖掘的OLAP技术 - 数据仓库和数据挖掘综述 - 数据仓库与数据挖掘学习教材 - 数据仓库与数据挖掘(分类规则) - 数据仓库与数据挖掘(分类规则挖掘与预测) - 数据仓库与数据挖掘考试习题汇总 - 数据仓库与数据挖掘课件 - 数据仓库与数据挖掘应用 - 数据仓库与数据挖掘综述推荐,数据仓库建设学习资料合集,包含建设规范、架构、工具及模型等资料。共38份。 2021数据仓库服务常见问题-华为-51页 2021云数据仓库专业服务-华为-168页 阿里云数据中台-金融行业新一代数据仓库解决方案 分布式数据仓库 构建可靠的数据仓库 模板-数据仓库整体设计方案 企业大数据平台数仓架构建设思路 商业银行数据仓库系统V2.0 数据仓库-数据集市-BI-数据分析 数据仓库工具箱 维度建模权威指南(第3版) 数据仓库技术架构及方案 数据仓库架构、模型、调度、指标建设方案 数据仓库建模与ETL的实践技巧 数据仓库建设规范模板 数据仓库设计-221页 数据仓库生命周期工具箱 数据仓库体系架构、主要过程与技术介绍 数据仓库之数据质量建设方案 数据仓库ETL工具箱 数据人进化宝典-813页(数据分析+数据仓库+数据架构+数据治理等等) 数据治理:数据仓库的数据质量管理规范 数据治理及数据仓库模型设计 搜狐智能媒体在数据仓库体系建设中的技术实践 元数据管理在数据仓库的实践应用 Hadoop数据仓库实践 IBM Netezza 数据仓库设备架构 SaaS模式云数据仓库实践手册 58交易营销数据仓库建设 数据仓库与数据挖掘: - 基于数据仓库的数据挖掘技术 - 数据仓库和数据挖掘的OLAP技术 - 数据仓库和数据挖掘综述 - 数据仓库与数据挖掘学习教材 - 数据仓库与数据挖掘(分类规则) - 数据仓库与数据挖掘(分类规则挖掘与预测) - 数据仓库与数据挖掘考试习题汇总 - 数据仓库与数据挖掘课件 - 数据仓库与数据挖掘应用 - 数据仓库与数据挖掘综述5 1110浏览¥ 109.90
- Hadoop大小:28MB利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) 04_HIve中的case when、cast及unix_timestamp的使用 05_复杂日志分析-需求分析 06_复杂日志分析-需求字段讲解及过滤 07_复杂日志分析-字段提取及临时表的创建 08_复杂日志分析-指标结果的分析实现 09_Hive中数据文件的存储格式介绍及对比 10_常见的压缩格式及MapReduce的压缩介绍 11_Hadoop中编译配置Snappy压缩 12_Hadoop及Hive配置支持snappy压缩 13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) 04_HIve中的case when、cast及unix_timestamp的使用 05_复杂日志分析-需求分析 06_复杂日志分析-需求字段讲解及过滤 07_复杂日志分析-字段提取及临时表的创建 08_复杂日志分析-指标结果的分析实现 09_Hive中数据文件的存储格式介绍及对比 10_常见的压缩格式及MapReduce的压缩介绍 11_Hadoop中编译配置Snappy压缩 12_Hadoop及Hive配置支持snappy压缩 13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理5 1626浏览¥ 11.90
- 本资源适合hive使用log4j2作为日志去开启metastore审计日志,那么本文章就值得(不管是hive2还是hive3)5 1402浏览¥ 11.90
- 数据仓库大小:2MB数仓经典销售案例,包括ETL脚本,项目完整详细需求、设计文档及模型加载,推荐。数仓经典销售案例,包括ETL脚本,项目完整详细需求、设计文档及模型加载,推荐。5 256浏览¥ 4.90
- 日期维度表大小:124KB使用java8+springboot+mybatis生成日期维度数据,项目下载到本地导入idea即可使用使用java8+springboot+mybatis生成日期维度数据,项目下载到本地导入idea即可使用5 908浏览¥ 9.90
- 数据集市大小:929KB数据集市的介绍、详细的架构方案,挺实用数据集市的介绍、详细的架构方案,挺实用5 426浏览¥ 5.90
- ambari大小:356MBAmbari下Hive3.0升级到Hive4.0,验证自测;Ambari下Hive3.0升级到Hive4.0,验证自测;5 549浏览¥ 5.90
- 大数据技术基础实验报告-Hive安装配置与应用5 1861浏览¥ 5.90
- hadoop集群配置之———hive安装与配置(超详细)5 2385浏览¥ 5.90
- hive大小:41KBhive 2.1.1打包报错问题 maven引入hive jar包时,报错 Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde 将此文件解压,放到maven仓库中即可,jar包和pom都有hive 2.1.1打包报错问题 maven引入hive jar包时,报错 Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde 将此文件解压,放到maven仓库中即可,jar包和pom都有5 194浏览¥ 5.90
- hive大小:3KB├─01.视频 │ │ 02--数据仓库基础理论--场景互动:数仓为何而来.avi │ │ 04--数据仓库基础理论--OLTP、OLAP系统.avi │ │ 05--数据仓库基础理论--数据仓库、数据库区别.avi │ │ 06--数据仓库基础理论--数据仓库、数据集市区别.avi │ │ 07--数据仓库基础理论--数仓分层思想与架构(ODS、DW、DA).avi │ │ 09--场景分析案例--美团点评酒旅数仓建设实践.avi │ │ 14--Apache Hive--Hive和MySQL的对比.avi │ │ 20--Apache Hive--安装部署--本地模式--Hive安装配置.avi │ │ 21--Apache Hive--安装部署--远程模式安装与metastore服务启动.avi │ │ 25--Apache Hive--初体验1--Hive使用起来和MySQL差不多吗?.avi │ │ │├─01.视频 │ │ 02--数据仓库基础理论--场景互动:数仓为何而来.avi │ │ 04--数据仓库基础理论--OLTP、OLAP系统.avi │ │ 05--数据仓库基础理论--数据仓库、数据库区别.avi │ │ 06--数据仓库基础理论--数据仓库、数据集市区别.avi │ │ 07--数据仓库基础理论--数仓分层思想与架构(ODS、DW、DA).avi │ │ 09--场景分析案例--美团点评酒旅数仓建设实践.avi │ │ 14--Apache Hive--Hive和MySQL的对比.avi │ │ 20--Apache Hive--安装部署--本地模式--Hive安装配置.avi │ │ 21--Apache Hive--安装部署--远程模式安装与metastore服务启动.avi │ │ 25--Apache Hive--初体验1--Hive使用起来和MySQL差不多吗?.avi │ │ │5 455浏览¥ 5.90
- hive大小:98MB数据包括运行代码和数据类型,启动hive导入表和数据就可以运行结果数据包括运行代码和数据类型,启动hive导入表和数据就可以运行结果5 431浏览¥ 11.90
- hive大小:5KBhive自定义安全认证使用hive自定义安全认证使用5 109浏览¥ 5.90
- hive大小:35MB电商销售数据复盘用教程数据 hive分析-菜鸟入门电商销售数据复盘用教程数据 hive分析-菜鸟入门5 223浏览¥ 5.90
- flink大小:39MBguava-27.0-jre.jar 编译的hive-exec-3.1.2.jarguava-27.0-jre.jar 编译的hive-exec-3.1.2.jar5 465浏览¥ 4.90
- 随着金融业务的发展以及数据源(Hive、Mysql、kafka、strom)的多样化,金融大数据需要有自己的质量监控平台来确保数据的质量问题,防止garbage in garbage out。 全面个性化监控效果:支持开发人员自定义检查规则、告警信息、异常分析、问题跟踪的数据质量处理闭环。5 272浏览¥ 20.90
- 数据仓库之数据质量建设方案5 240浏览¥ 11.90
- 大数据大小:354MB实战Sqoop数据导入及大数据用户行为案例分析(全套视频+代码+工具+课件讲义) 内容包括: 01_CDH版本框架的介绍 02_CDH版本框架的环境部署 03_Sqoop的介绍及其实现原理 04_Sqoop的安装部署及连接测试 05_Sqoop将MySQL数据导入到HDFS(一) 06_Sqoop将MySQL数据导入到HDFS(二) 07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL数据导入Hive表中 09_Sqoop的导出及脚本中使用的方式 10_案例分析-动态分区的实现 11_案例分析-源表的分区加载创建 12_案例分析-指标分析使用Sqoop导出实战Sqoop数据导入及大数据用户行为案例分析(全套视频+代码+工具+课件讲义) 内容包括: 01_CDH版本框架的介绍 02_CDH版本框架的环境部署 03_Sqoop的介绍及其实现原理 04_Sqoop的安装部署及连接测试 05_Sqoop将MySQL数据导入到HDFS(一) 06_Sqoop将MySQL数据导入到HDFS(二) 07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL数据导入Hive表中 09_Sqoop的导出及脚本中使用的方式 10_案例分析-动态分区的实现 11_案例分析-源表的分区加载创建 12_案例分析-指标分析使用Sqoop导出5 607浏览¥ 11.90
- 数据仓库建设规范模板.docx5 129浏览¥ 11.90
- 大数据大小:3MB清华大学出品的大数据实战课程PPT学习课件,非常适合大学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~清华大学出品的大数据实战课程PPT学习课件,非常适合大学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~5 1304浏览¥ 9.90
- 数据仓库大小:10MB数据治理之数据质量监控系统可行性分析初稿数据治理之数据质量监控系统可行性分析初稿5 464浏览¥ 19.90
- hive大小:16MB使用第三方工具Dbeaver工具连接hive时需要导入驱动包,dbeaver连接hive时有时可以直接在网上下载,有的时候下载不了,这里提供一个可用的驱动包。使用第三方工具Dbeaver工具连接hive时需要导入驱动包,dbeaver连接hive时有时可以直接在网上下载,有的时候下载不了,这里提供一个可用的驱动包。5 1535浏览¥ 4.90
- Impala大小:2KB手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据分布式计算的发展及Impala的应用场景,对比Hive、MapReduce、Spark等类似框架讲解内存式计算原理,基于Impala构建高性能交互式SQL分析平台 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:内存式计算发展 1.分布式计算的发展 2.大数据分布式计算分类 3.Impala内存式计算诞生 第二章:Impala原理初探 1.Impala的设计思想 2.Impala与Hive之间的联系 3.Impala的分布式架构详解 4.Impala角色概念详解 第三章:基于Cloudera镜像部署分布式Impala 1.基于CDH5.14构建本地Yum镜像 2.企业级分布式Impala部署 3.企业级配置与Hadoop集成 4.企业级配置与Hive集成 5.主从架构及元数据服务管理 第四章:Impala企业实战开发案例 1.基于企业案例实现Impala集群管理 2.Impala最全SQL语法详解 3.实战开发Impala数据库与表管理 4.基于分析案例实现Impala数据管理 5.Impala与应用系统集成JDBC 第五章:Impala原理深入 1.Impala各角色功能详解 2.Impala任务提交原理 3.Impala元数据同步原理手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据分布式计算的发展及Impala的应用场景,对比Hive、MapReduce、Spark等类似框架讲解内存式计算原理,基于Impala构建高性能交互式SQL分析平台 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:内存式计算发展 1.分布式计算的发展 2.大数据分布式计算分类 3.Impala内存式计算诞生 第二章:Impala原理初探 1.Impala的设计思想 2.Impala与Hive之间的联系 3.Impala的分布式架构详解 4.Impala角色概念详解 第三章:基于Cloudera镜像部署分布式Impala 1.基于CDH5.14构建本地Yum镜像 2.企业级分布式Impala部署 3.企业级配置与Hadoop集成 4.企业级配置与Hive集成 5.主从架构及元数据服务管理 第四章:Impala企业实战开发案例 1.基于企业案例实现Impala集群管理 2.Impala最全SQL语法详解 3.实战开发Impala数据库与表管理 4.基于分析案例实现Impala数据管理 5.Impala与应用系统集成JDBC 第五章:Impala原理深入 1.Impala各角色功能详解 2.Impala任务提交原理 3.Impala元数据同步原理5 269浏览¥ 9.90
- Kylin大小:75B课程介绍 Apache Kylin是一个开源的分布式分析引擎,为大数据开发人员提供Hadoop/Spark之上的SQL查询接口,以及支持超大规模数据集的多维分析能力,在大数据领域有着广泛的应用,是大数据开发人员的必备技能之一。 本套视频教程版本升级为4.0,涵盖了Kylin新版的重大功能升级,并将构建引擎和查询引擎全部升级为Spark,将存储由HBase升级为HDFS下的Parquet存储,这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。 教程详细讲解了Kylin 4.0的安装部署过程,与其他框架的版本兼容性也进行了充分调研,并基于真实数据案例进行了实操演示。除此之外,教程中增加了由Kylin官方推荐使用的MDX for Kylin。MDX for Kylin是基于Mondrian二次开发,使用Apache Kylin作为数据源的MDX查询引擎,可以集成多种数据分析工具,提供在大数据分析场景下更极致的体验。教程基于真实数据,提供了详尽的安装、配置和使用讲解。课程介绍 Apache Kylin是一个开源的分布式分析引擎,为大数据开发人员提供Hadoop/Spark之上的SQL查询接口,以及支持超大规模数据集的多维分析能力,在大数据领域有着广泛的应用,是大数据开发人员的必备技能之一。 本套视频教程版本升级为4.0,涵盖了Kylin新版的重大功能升级,并将构建引擎和查询引擎全部升级为Spark,将存储由HBase升级为HDFS下的Parquet存储,这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。 教程详细讲解了Kylin 4.0的安装部署过程,与其他框架的版本兼容性也进行了充分调研,并基于真实数据案例进行了实操演示。除此之外,教程中增加了由Kylin官方推荐使用的MDX for Kylin。MDX for Kylin是基于Mondrian二次开发,使用Apache Kylin作为数据源的MDX查询引擎,可以集成多种数据分析工具,提供在大数据分析场景下更极致的体验。教程基于真实数据,提供了详尽的安装、配置和使用讲解。5 178浏览¥ 9.90
- sqoop大小:2KB手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据业务及数据采集和迁移需求,以案例驱动的方式讲解基于Sqoop构建高性能的分布式数据迁移和同步平台。 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:企业数据迁移需求及解决方案 1.企业级数据迁移及同步需求 2.Sqoop的设计思想 3.Sqoop与Hadoop的关系 4.Sqoop的分布式实现原理 5.Sqoop的企业级版本选型 6.Sqoop的部署安装及配置 第二章:Sqoop数据导入实战开发 1.Sqoop导入开发参数详解 2.数据导入分布式文件系统HDFS 3.数据导入数据仓库Hive 4.基于复杂条件实现数据导入 5.基于订单案例实现Increment增量同步数据 6.基于订单案例实现lastModified增量同步导入数据 7.数据导入原理详解 第三章:Sqoop数据导出实战开发 1.Sqoop导出开发参数详解 2.基于MySQL实现数据导出 3.基于案例实现updateonly增量同步导出 4.基于案例实现allowinsert增量同步导出 5.数据导出原理详解 第四章:Sqoop企业级任务管理 1.企业级数据管理业务 2.Sqoop Job命令参数详解 3.基于订单案例实现Sqoop Job实战开发 4.Sqoop Job 任务管理手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据业务及数据采集和迁移需求,以案例驱动的方式讲解基于Sqoop构建高性能的分布式数据迁移和同步平台。 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:企业数据迁移需求及解决方案 1.企业级数据迁移及同步需求 2.Sqoop的设计思想 3.Sqoop与Hadoop的关系 4.Sqoop的分布式实现原理 5.Sqoop的企业级版本选型 6.Sqoop的部署安装及配置 第二章:Sqoop数据导入实战开发 1.Sqoop导入开发参数详解 2.数据导入分布式文件系统HDFS 3.数据导入数据仓库Hive 4.基于复杂条件实现数据导入 5.基于订单案例实现Increment增量同步数据 6.基于订单案例实现lastModified增量同步导入数据 7.数据导入原理详解 第三章:Sqoop数据导出实战开发 1.Sqoop导出开发参数详解 2.基于MySQL实现数据导出 3.基于案例实现updateonly增量同步导出 4.基于案例实现allowinsert增量同步导出 5.数据导出原理详解 第四章:Sqoop企业级任务管理 1.企业级数据管理业务 2.Sqoop Job命令参数详解 3.基于订单案例实现Sqoop Job实战开发 4.Sqoop Job 任务管理5 267浏览¥ 9.90
- 大数据实践之数据指标中心的建设思路5 221浏览¥ 17.90
- 数据质量管理的规则执行服务作为ETL任务部署在ETL服务器上 在整个数据处理过程中,设置4类检查点 在不同的检查点由Task Automation工作流统一调度执行 检查结果统一存入数据质量管理资料库5 73浏览¥ 34.90
- ZD_衡阳市国土资源电子政务系统总体设计方案.docx0 58浏览¥ 14.90
- hadoop大小:10MB一、实验目的 上机实操,学会使用Hive开发。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1:创建内部表 (1):start-all.sh,启动Hadoop所有进程 (2):初始化元数据库生成metastore (3):启动hive (4):把linus上面的rg.txt放到hdfs下 (5):show databases;显示所有数据库 (6):新建数据库test (7):创建数据库表rg (8):给表导入数据 (9):查看数据 (10):查看hdfs下文件的变化 (11):drop table rg;删除表 (12):查看hdfs下文件的变化 2:创建外部表 (1):在hdfs上建rg文件夹,并把数据放文件夹下 (2):创建数据库表 (3):查看hdfs下文件的变化 (4):select * from rg_ext;查找数据 (5):drop table rg_ext;删除表 三、创建分区表 四、创建分桶表 五、java连接数据库窗口版 六、java连接数据库代码版一、实验目的 上机实操,学会使用Hive开发。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1:创建内部表 (1):start-all.sh,启动Hadoop所有进程 (2):初始化元数据库生成metastore (3):启动hive (4):把linus上面的rg.txt放到hdfs下 (5):show databases;显示所有数据库 (6):新建数据库test (7):创建数据库表rg (8):给表导入数据 (9):查看数据 (10):查看hdfs下文件的变化 (11):drop table rg;删除表 (12):查看hdfs下文件的变化 2:创建外部表 (1):在hdfs上建rg文件夹,并把数据放文件夹下 (2):创建数据库表 (3):查看hdfs下文件的变化 (4):select * from rg_ext;查找数据 (5):drop table rg_ext;删除表 三、创建分区表 四、创建分桶表 五、java连接数据库窗口版 六、java连接数据库代码版5 407浏览¥ 5.90
- 电子政务评估指标体系研究.docx5 49浏览¥ 14.90
- 1)Failing because I am unlikely to write too. 2)Caused by: java.lang.OutOfMemoryError: Java heap space 3)Current usage: 1.0 GB of 1 GB physical memory used;2.7 GB of 2.1 GB virtual memory used. Killing container 4)java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: null 5)hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的5 1455浏览¥ 11.90
- 数据仓库维度建模培训ppt5 109浏览¥ 11.90
- 大数据CDH集群部署文档,学习大数据利器5 235浏览¥ 11.90
- 基于国产软硬件的区县级电子政务解决方案应用示范规范书.docx5 39浏览¥ 14.90
- 电子政务标准体系框架.docx5 40浏览¥ 14.90
- hive大小:132MB教学安装视频教学安装视频0 3305浏览¥ 4.90
- 大数据分析架构师顶级培训课程\-大数据仓库Hive-大数据开发核心技术 - 大数据仓库Hive精讲 第1课 初识入门 第2课 深入使用 第3课 高级进阶 ———————————————— 课程大纲 1、Hive表的创建 2、Hive数据类型 3、Hive数据迁移 4、Hive常见查询 5、HiveUDF编程0 5浏览¥ 14.90
- 能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理 熟练地在Hadoop和操作系统以及关系型数据库之前传递数据 能独立制定数据集成方案 熟练地向Hadoop提交作业以及查询作业运行情况 了解Map-Reduce原理,能书写Map-Reduce程序 了解HDFS原理,能熟练地对HDFS中的文件进行管理 能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作0 154浏览¥ 9.90
- hadoop大小:155B内容:包括cm与cdh两个包 使用人群:大学生、数据开发内容:包括cm与cdh两个包 使用人群:大学生、数据开发0 111浏览¥ 19.90
- 电子政务案例分析.docx0 31浏览¥ 14.90
- 数据仓库大小:3MB轧机CPC功能及纠偏原理介绍.zip轧机CPC功能及纠偏原理介绍.zip0 35浏览¥ 14.90
- 大数据大小:62MBHive CDH版本Hive CDH版本0 3336浏览¥ 29.90
- 《云南省电子政务建设情况调查表》doc-关于开展全省电子.docx0 33浏览¥ 14.90
- 电子政务:第一讲_拥抱互联网“加””时代.pptx0 35浏览¥ 14.90
- 数据仓库大小:162KBpython入门教程(PPT39页).zippython入门教程(PPT39页).zip0 44浏览¥ 14.90
- azkaban大小:2KB手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据调度系统构成,集成大数据计算任务构建大数据工作流,基于Azkaban构建实现企业级自动化任务开发 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:工作流任务调度 1.大数据调度系统概论 2.企业级工作流 3.工作流依赖调度 4.工作流定时调度 5.常用工作流调度工具 第二章:Azkaban工作流调度系统 1.Azkaban的起源及其发展 2.Azkaban分布式架构原理 3.Azkaban中的工作流概念详解 第三章:Azkaban企业级多模式部署 1.Azkaban版本及三种部署模式 2.Azkaban编译 3.solo本地模式 4.Two-Server单节点模式 5.Multiple-Executor分布式模式 第四章:Azkaban开发实战 1.Azkaban工作流开发规则 2.Azkaban调度Shell脚本实战 3.Azkaban调度HDFS实战 4.Azkaban调度MapReduce实战 5.Azkaban调度Hive实战 6.Azkaban子流的实战 7.Azkaban复杂调度实战 8.Azkaban定时调度实战手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据调度系统构成,集成大数据计算任务构建大数据工作流,基于Azkaban构建实现企业级自动化任务开发 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:工作流任务调度 1.大数据调度系统概论 2.企业级工作流 3.工作流依赖调度 4.工作流定时调度 5.常用工作流调度工具 第二章:Azkaban工作流调度系统 1.Azkaban的起源及其发展 2.Azkaban分布式架构原理 3.Azkaban中的工作流概念详解 第三章:Azkaban企业级多模式部署 1.Azkaban版本及三种部署模式 2.Azkaban编译 3.solo本地模式 4.Two-Server单节点模式 5.Multiple-Executor分布式模式 第四章:Azkaban开发实战 1.Azkaban工作流开发规则 2.Azkaban调度Shell脚本实战 3.Azkaban调度HDFS实战 4.Azkaban调度MapReduce实战 5.Azkaban调度Hive实战 6.Azkaban子流的实战 7.Azkaban复杂调度实战 8.Azkaban定时调度实战0 169浏览¥ 9.90
- 电子政务--海关业务培训课程.pptx0 45浏览¥ 14.90
- Hive用户指南(Hive_user_guide)_中文版0 14浏览¥ 19.90
- 04754电子商务与电子政务课程考试说明doc-0475.docx0 26浏览¥ 14.90
- 数据仓库大小:180MBhive数据仓库的建立hive数据仓库的建立0 269浏览¥ 4.90
- 电子政务总纲.docx0 29浏览¥ 14.90
- 数据仓库大小:460KB人工智能知识表示方法.zip人工智能知识表示方法.zip0 52浏览¥ 14.90
- MPA电子政务技术专题讲座之.pptx0 41浏览¥ 14.90
- hive大小:750KB大数据与云计算培训学习资料 微博网站 Hive高级编程 共41页.pptx大数据与云计算培训学习资料 微博网站 Hive高级编程 共41页.pptx0 45浏览¥ 9.90