没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据HadoopHadoop学习笔记AAAAAAAAAAA

Hadoop学习笔记AAAAAAAAAAA

hadoop

需积分: 0 0 下载量 95 浏览量 2022-11-07 17:25:17 上传评论 1 收藏 61KB DOCX 举报

温馨提示

试读

72页

Hadoop学习笔记AAAAAAAAAAA

资源推荐

资源详情

资源评论

Hadoop 笔记

基本思想

分布式存储

如果有 1T 数据需要存储？ 1.先得将整个数据按照一定规则进行切分 2.将切分后的数据存放在

多台电脑上 3.记录存储位置以及相应数据的信息 4.考虑后续使用时，快速加载并且能够正常

使用

分布式计算

Hadoop 版本为 2.7.6

HADOOP 组件

HDFS:主要用于做数据存储

NameNode

DateNode

SecondaryNameNode

mapreduce：主要用于分布式计算

ApplicationMaster

task

yarn:主要用于做资源调度（1.X 中和 MapReduce 融合在一起，耦合性太强）

资源调度：在做数据计算时，需要 CPU、内存、带宽等资源，针对每个计算任务都需要将

任务进行划分开

ResourseManage

Nodemanage

Hadoop 安装

前提条件：三台虚拟机能够使用 Java 环境

1.修改 Linux 中的主机名

vim /etc/hostname

90IP 为 master

91IP 为 node1

92IP 为 node2

修改完成以后执行 reboot 命令重启当重启链接以后 @符号后内容变更表示更改完成

2.通过 ssh 验证其他节点是否能够连接

在 master 节点上验证

ssh node1

ssh node2

ssh master

# 如果验证中，出现 node1 节点 IP 对应不上,那么请查看 Linux 中 /etc/hosts 文件配置

192.168.111.90 master

192.168.111.91 node1

192.168.111.92 node2

3.免密登录

在 Master 节点上执行

ssh-keygen -t rsa

# 三次回车

+---[RSA 2048]----+

| o .+oO*o|

| o . =+B.|

| . .oE+.+|

| o +o+o=|

| S. + =.**|

| .o = +.*|

| .= . ++|

| .. o.o|

| .. ..o|

+----[SHA256]-----+

发送密钥至所有节点

ssh-copy-id master

ssh-copy-id node1

ssh-copy-id node2

# 发送过后需要验证

ssh node1

解压

上传 hadoop-2.7.6.tar.gz 文件至 /usr/local/soft/

tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

文件目录

bin Hadoop 操作命令目录

etc/hadoop :用于存放 Hadoop 配置文件

sbin 用于存放 Hadoop 启动脚本

share/hadoop 用于存放 Hadoop 的 API 及其生成的相关依赖

配置环境变量

vim /etc/profile

# HADOOP_HOME

export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# source 生效

source /etc/profile

修改配置文件

添加从节点

# 位置：/usr/local/soft/hadoop-2.7.6/etc/hadoop/slaves

# 添加

node1

node2

修改 Hadoop 依赖环境 hadoop-env.sh

删除 export JAVA_HOME=${JAVA_HOME}

新加 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

修改 core-site.xml

# 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml

在 core-site.xml 标签 configuration 中复制一下内容

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value> #地址

</property>

<name>hadoop.tmp.dir</name> #tmp

<value>/usr/local/soft/hadoop-2.7.6/tmp</value>

</property>

<name>fs.trash.interval</name>#回收机制

<value>1440</value>#删除后保留 1440 分钟

</property>#7 天

修改 hdfs-site.xml

<name>dfs.replication</name>

<value>1</value>#副本数

</property>

<name>dfs.permissions</name>#表示文件或目录对应权限

<value>false</value>

</property>

修改 yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

剩余71页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

张天靖09

粉丝: 2
资源: 1

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Hadoop学习笔记AAAAAAAAAAA

Hadoop学习笔记

Hadoop 学习笔记.md

3.Hadoop学习笔记.pdf

最新Hadoop学习笔记

hadoop学习笔记

云计算hadoop学习笔记

hadoop学习笔记.rar

Hadoop学习笔记整理

hadoop学习笔记（三）

Hadoop学习笔记.pdf

HADOOP学习笔记

大数据hadoop学习笔记

linux+hadoop笔记（一）

项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计

hadoop-3.3.4.tar.gz + winutils 安装环境

基于Hadoop的电影影评数据分析

基于大数据的音乐推荐系统（适合本科毕设）

基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计（源码下载）

适用于hadoop 3.3.5 3.3.6版本的winutils

数据科学导论实验报告 实验1：常用Linux操作和 Hadoop操作

淘宝用户行为数据集

中文官方教程_tableau_prep.pdf

hadoop-3.1.3.tar.gz

数据中台建设方案.docx

Hadoop 之 winutils

winutils-master.zip

cdh6需要的allkeys.asc

企业数据中台建设.pdf

牛客大数据面试题集锦+答案，共523道，46W+字。大厂必备

最新资源

项目源码：基于Hadoop+Spark招聘推荐可视化系统大数据项目计算机毕业设计

基于Hadoop+Spark招聘推荐可视化系统大数据项目毕业设计（源码下载）

数据科学导论实验报告实验1：常用Linux操作和 Hadoop操作