没有合适的资源？快使用搜索试试~ 我知道了~

文库首页安全技术网络安全Hive on Spark实施笔记1

Hive on Spark实施笔记1

spark

hive

需积分: 0 3 下载量 20 浏览量 2022-08-08 20:11:33 上传评论收藏 270KB DOCX 举报

温馨提示

试读

5页

编译环境OS – Ubuntu 14.04MavenScala (Spark编译时有用到)http://www.scala-lang.org/files/arc

资源详情

资源评论

资源推荐

Hive on Spark 实施笔记

一、编译适合 Hive 的 Spark

a) 说明

Spark 为了支持从 Hive 中读取数据，所以有很多 Hive 中用到的 jar 包，而 Hive

中 Hive on spark 时会将 Spark 的 jar 包引入到 Hive 的运行环境，因此及其他原因会

有 jar 冲突。所以需要重新编译没有包含 Hive 相关模块的 Spark。

b) 编译环境

1. OS – Ubuntu 14.04

2. Maven

3. Scala (Spark 编译时有用到)

http://www.scala-lang.org/files/archive/nightly/2.11.x/scala-2.11.7-950bb26-nightly.tg

4. Hadoop2.6(已引入 HADOOP_HOME 环境变量)

5. 可访问外网（编译过程要联网下载）

6. 配置 maven 的国内镜像（编译过程会从国外下载较多文件，改国内 maven 库

镜像后编译过程大约需要 1 小时）

设置本地库路径：

镜像：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

MartinHub-notes：:hundred_points:大数据开发笔记（包括：Hadoop，Hive，HBase，Phoenix，Scala，Spark，Flink，Kafka，Azkaban，Flume，Sqoop，Oozie，DataX等）。Java开发笔记（Java基础，Spring Boot， Spring Cloud，Spring Security，MyBatis-plus，Swagger-UI，Druid，JWT，Lombok）

MartinHub的学习笔记关于我 MartinHub :smiling_face_with_sunglasses: ，，热爱生活！热爱技术！微信公众号【MartinHub】个人微信号【MartinHub】项目介绍大数据 Java 数据库 Linux 杂记 :bullseye: :hot_beverage: :floppy_disk: :cloud: :memo:

spark2.0编译版-适用于hive2.3的hive on spark

hive on spark要求spark中不包含hive的jar包，必须重新编译，历尽艰辛终于搞好了，适配hive2.3、hadoop2.7.6环境。

hive-spark-client-3.1.2.jar

hive-on-spark客户端

Hive3.1.2编译源码

5星 · 资源好评率100%

使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。所以，如果想要使用高...

hive3.x编译spark3.x包

补丁文件包，依赖包，hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩

Hadoop Hive HBase Spark Storm概念解释

Hadoop Hive HBase Spark Storm概念解释

hadoop+hive+spark部署文档

hadoop+hive+spark部署文档

hive on spark mr 数据开发常见问题解决

hive工作常见问题解决收集开发人员在Hive日常开发过程中难免遇到各种各样的hive报错，这些报错信息很多时间并没有形成汇总的知识库，每次遇到问题都会重复查资料，效率非常低现在总结一些常见的知识库，方便大家...

hive3.1.2编译.doc

hive对应spark3.x编译

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

win10下搭建Hadoop（jdk+mysql+hadoop+scala+hive+spark），包括jdk的安装、mysql安装和配置，hadoop安装和配置，scala安装和配置，hive安装和配置，spark安装和配置。

大数据基础面试题hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse

hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse,数据仓库,等等

Hive Hadoop Spark优化

Hive Hadoop Spark优化

Hive on Spark安装配置详解.pdf

5星 · 资源好评率100%

。

Spark和Hive的结合（让hive基于spark计算）

spark-2.3.1-bin-hadoop2-without-hive.tgz

5星 · 资源好评率100%

使用maven重新编译spark2.3.1源码，用以实现hive on spark

最新版ISO/IEC 27001:2022、ISO 27002:2022中英文合集

5星 · 资源好评率100%

ISO 27001:2022英文版 ISO 27001:2022中文版(本人译稿，再也不改了版) ISO 27002:2022英文版 ISO 27002:2022中文版(本人译稿，再也不改了版) 全部为文字版PDF文件，带完整目录标签。

Goby红队版-win-x64-2.4.7版本

Goby红队专版:集成1500个poc和exp ，覆盖普通版本所有功能，开箱即用使用方式: 解压后双击goby.exe运行即可注意事项: 最新的漏洞不可以在线更新，可自行添加poc和exp 重要的事情说三遍不要用于非法或未授权测试！不要用于非法或未授权测试！不要用于非法或未授权测试！自行判断可刑性！

Chrome Header Editor 插件

Chrome Header Editor 插件及配置文件，旨在取消因流量异常或IP异常导致的谷歌人机验证。

ISO SAE 21434-2021 中文版.pdf

4星 · 用户满意度95%

ISO SAE 21434中文版

OpenVAS GVM 中文翻译补丁

自己制作的粗糙版放入/usr/share/gvm/gsad/web/locales目录刷新浏览器即可

安全认证cisp教材全套

5星 · 资源好评率100%

cisp教材全套，最全的CISP电子版教材，总共20章节分20个PDF文件

现代永磁同步电机控制原理及MATLAB仿真__袁雷编著1

内容简介本书着眼于现代永磁同步电机控制原理分析及 MATLAB 仿真应用，系统地介绍了永磁同步电机控制系统的基本理论、基本方法和应用技术。全书分为 3 部

评论收藏

内容反馈

晕过前方

粉丝: 113
资源: 328

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Hive on Spark实施笔记1

评论0

最新资源

Hive on Spark实施笔记1

评论0

Hive on Spark EXPLAIN statement

Hive on Spark源码分析DOC

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

Spark_Hive:小笔记

大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......

spark2.0编译版-适用于hive2.3的hive on spark

hive-spark-client-3.1.2.jar

Hive3.1.2编译源码

hive3.x编译spark3.x包

Hadoop Hive HBase Spark Storm概念解释

hadoop+hive+spark部署文档

hive on spark mr 数据开发常见问题解决

最新spark+hadoop+hive+zookeeper(下)-hive-spark-zookeeper

hive3.1.2编译.doc

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

大数据基础面试题hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse

Hive Hadoop Spark优化

Hive on Spark安装配置详解.pdf

Spark和Hive的结合（让hive基于spark计算）

spark-2.3.1-bin-hadoop2-without-hive.tgz

最新版ISO/IEC 27001:2022、ISO 27002:2022中英文合集

Goby红队版-win-x64-2.4.7版本

Chrome Header Editor 插件

ISO SAE 21434-2021 中文版.pdf

OpenVAS GVM 中文翻译补丁

安全认证cisp教材全套

现代永磁同步电机控制原理及MATLAB仿真__袁雷编著1

最新资源