win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark）3.docx

需积分: 43 96 浏览量 2020-09-17 14:40:05 上传评论 1 收藏 1.43MB DOCX 举报

资源推荐

资源详情

资源评论

大数据 Hadoop
目录
 下搭建大数据环境 
开发环境概述 
 
注意事项 
安装  
安装  
下载安装  
替换 
环境配置 
启动 ： 
验证  
 停止  服务 !
安装  !
下载  !
安装  
环境变量配置 
 验证 
安装 " 
" 概述 
#$% 数据库 
下载安装  
创建几个目录 
 的 & 下缺失文件 
 配置  
启动  
关闭 " 里面 ' 信息的两种方法（这个不能配，否则  无法启动）
 
!" 数据库操作 
 安装   
 环境配置   
 启动验证 
  
()" 整合 
为什么要进行整合？ 
修改  下的 *（错的，不能修改）
拷贝  文件 * 到 ' 下
拷贝 $% 驱动到  !
 和 % !
 整合成功标志 
+ 连接服务 
1,45

大数据 Hadoop

+ 连接  和 % 格式

+ 连接 "（）

+ 连接 %（-）

+ 连接 $% 

!& 操作 

 下大数据环境总结 

2,45

大数据 Hadoop

1 win10 下搭建大数据环境

1.1开发环境概述

1.1.1 hadoop+scala+hive+Spark

（）下安装  必须先安装  和 ，如果只是玩 

 的话，就不需要安装 ，如果想玩  或者是需要去

 取数据的话，就应该先装 。另外，如果需要通过  从大数据平台进行

 查询操作，则需要在  和  之间安装  数据仓库。所以安装顺序是

、、、、，需要注意的是，、、 三者的

环境变量配置方法几乎一摸一样，核心是 变量的配置， 启动时，会自动

适配 、 的 变量，需要指出的是， 自带  !! ，而不

会使用安装版的 （感觉安装的  !!" 没什么用，估计仅仅是用于开发吧）。

 在需要启动  ，则才能启动客户端的 #，# 是替代  命

令的，在 # 下可以执行 ，跟在  下执行 $ 的命令应该是一样

的，也就是说 %&$%及 #%三者都是执行  语句的，基本一样。

命令连接用户执行计算框架说明备注

#

登录的集群用

户

'(

使用此命令可以以命令行的方式访问

)*+, -，进行  的元数据服务访

问，以及执行查询语句等。

 原生

$

登录的集群用

户

 -

使用此命令可以很方便的访问  的元数据

服务，并且使用命令行的形式执行查询等服

务。

 - 命

令

$

#

 - 用户

 -

使用此命令可以以命令行的方式访问

)*+, -，进行  的元数据服务访

问，以及执行查询语句。

 - 命

令

以下除了需要：

3,45

大数据 Hadoop

、通过 $!.



启动  的

./、.、、0 服务

、通过 $$ 1，启动  服务

其他如 、、 只要配置好，然后执行 $2$22#

四种命令都能使用 ，其中，在 $2# 操作数据库的命令可以完全替

代在  下操作数据库的命令。

1.1.2 注意事项

、)*3 版本建议用 !"，用 !4 会报错

、所有软件的安装路径不能存在空格，特别是 ) 的安装路径

5、需要事先安装 ，6*7 及 7 配置，关键是在  下的四个

$!-. 、 .$!-. 、 $!-. 、 0$!-. 文件及一个

$!. 环境配置文件是核心，另外要删除  目录下的 # 和 ，将

$. 下的 # 和  目录拷贝到  下， 是唯一需

要启动服务：$!.，第一次启动前需要格式化：.$.

5、$ 的运行需要  环境，但  有自带的  !! 版本，同时也

需要事先安装 （先从网盘中下载 ，然后解压到电脑硬盘中，设置  环境

变量，配置变量名ì,686，值为解压的目录地址，然后到 769 中添加路径ì:

,686:;#）

<、配置 ：变量名ìSPARK_HOME，变量值为解压的目录地址，最后到 769 中添

加路径ì%SPARK_HOME%\bin

，

测试：打开 . 窗口，输入ì$命令

=、 !- 以上版本的 # 目录下确实四个 . 文件，需要网上找才行。另外  需要

0>8 数据存储元数据

?、启动  前必须先启动 （$!.），才能连接上  的 4 端口

@、设置默认为系统管理员

首先ìA'B/，找到以下位置：3,C''D9C';;;D9;

,(E;6,.F/;80，新建一个字符串值，命名为 G;;0.5 ;

.!-，然后右键–修改ì–ì数值数据写入“'CD66*HDI，确定ì！

4,45

剩余44页未读，继续阅读

评论收藏

内容反馈

chengzhb_csdn

粉丝: 1
资源: 12

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

最新资源

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

Hadoop+Hbase+Spark+Hive搭建

Hadoop+Hive+Mysql安装文档.pdf

win10下安装hadoop-2.8.3详细步骤

eclipse集成hadoop+spark+hive开发源码实例

5）BIGDATA搭建-Hadoop集群MYSQL的安装.docx

Hive安装教程

大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

centOS 6.10 hadoop+spark+hive+HBase集群搭建

VM虚拟机下配Eclipse+JDK+Tomcat+Hadoop环境搭建.docx

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

最新spark+hadoop+hive+zookeeper(下)-hive-spark-zookeeper

集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark

Ubuntu 16.04下JDK+Hadoop+Spark环境搭建

Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht

winutils+hadoop.dll+eclipse插件（hadoop2.7）

zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx

spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

hadoop+hive+spark部署文档

一键安装jdk+mysql+hadoop+hive+zeppelin.rar

大数据（hadoop+spark+hbase+zookeeper+kafka+scala+ambari）全套视频教程（花3000￥买的）

hadoop-3.3.4.tar.gz + winutils 安装环境

项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计

基于Hadoop的电影影评数据分析

基于大数据的音乐推荐系统（适合本科毕设）

基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计（源码下载）

适用于hadoop 3.3.5 3.3.6版本的winutils

数据科学导论实验报告 实验1：常用Linux操作和 Hadoop操作

最新资源

项目源码：基于Hadoop+Spark招聘推荐可视化系统大数据项目计算机毕业设计

基于Hadoop+Spark招聘推荐可视化系统大数据项目毕业设计（源码下载）

数据科学导论实验报告实验1：常用Linux操作和 Hadoop操作