HiveonSpark安装配置详解.pdf_hiveonspark资源-CSDN文库

版权申诉

5星 · 超过95%的资源 123 浏览量 2023-03-11 21:58:52 上传评论 1 收藏 909KB PDF 举报

资源推荐

资源详情

资源评论

Hive on Spark 安装配置详解

本文章来自于阿里云云栖社区

摘要：本文主要记录如何安装配置 Hive on Spark，并列举遇到的坑及解决办法。

可进入我的博客（原文链接：

http://linbingdong.com/2016/10/10/Hive%20on%20Spark%E5%AE%89%E8%A3%8

5%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3/?spm=5176.100239.blo

gcont72228.9.Qn7zSh）查看原文。

简介

本文主要记录如何安装配置 Hive on Spark，在执行以下步骤之前，请先确保已经

安装 Hadoop 集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。

背景

Hive 默认使用 MapReduce 作为执行引擎，即 Hive on mr。实际上，Hive 还可以

使用 Tez 和 Spark 作为其执行引擎，分别为 Hive on Tez 和 Hive on Spark。由于

MapReduce 中间计算均需要写入磁盘，而 Spark 是放在内存中，所以总体来讲

Spark 比 MapReduce 快很多。因此，Hive on Spark 也会比 Hive on mr 快。为了对

比 Hive on Spark 和 Hive on mr 的速度，需要在已经安装了 Hadoop 集群的机器上

安装 Spark 集群（Spark 集群是建立在 Hadoop 集群之上的，也就是需要先装

Hadoop 集群，再装 Spark 集群，因为 Spark 用了 Hadoop 的 HDFS、YARN 等），

然后把 Hive 的执行引擎设置为 Spark。

Spark 运行模式分为三种 1、Spark on YARN 2、Standalone Mode 3、Spark on Mesos。

Hive on Spark 默认支持 Spark on YARN 模式，因此我们选择 Spark on YARN 模

式。Spark on YARN 就是使用 YARN 作为 Spark 的资源管理器。分为 Cluster 和

Client 两种模式。

剩余13页未读，继续阅读

内容反馈

版权申诉

zhuyizhi789

2023-06-04

非常有用的资源，有一定的参考价值，受益匪浅，值得下载。

คิดถึง643

粉丝: 3880
资源: 1万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip