基于Ubuntu的hadoop集群安装与配置.pdf资源-CSDN文库

版权申诉

96 浏览量 2022-11-19 16:37:04 上传评论收藏 2.93MB PDF 举报

资源推荐

资源详情

资源评论

Ubuntu 系统安装

在这里补充一下 Ubuntu ubuntu-14.04.3-server-amd64 所遇到的问题

牵扯到挂载问题

当时我们早期安装的时候总是会出现安装失败的现象，后来我们把

ubuntu-14.04.3-server-amd64 -iso 镜像文件直接挂栽在 /cdrom 文件夹下面

Mount /dev/sdc /mnt/

Mount -t iso9600 -o loop /mnt/ubuntu-14.04.3-server-amd64 -iso /cdrom

Mount

1 / 21

一、实验目的

1、掌握 Hadoop 原理机制，熟悉 Hadoop 集群体系结构、核心技术。

2、安装和配置 Hadoop 集群。

二、实验原理

Hadoop 分布式计算平台是由 Apache 软件基金会开发的一个开源分布式计算平台。以

Hadoop 分布式文件系统（HDFS）和 MapReduce（Google MapReduce 的开源实现）为核心的

Hadoop 为用户提供了系统底层细节透明的分布式基础架构。

Hadoop 中的分布式文件系统 HDFS 由一个管理结点 ( NameNode )和 N 个数据结点

( DataNode )组成，每个结点均是一台普通的计算机。在使用上同我们熟悉的单机上的文件

系统非常类似，一样可以建目录，创建，复制，删除文件，查看文件内容等。但其底层实现

上是把文件切割成 Block，然后这些 Block 分散地存储于不同的 DataNode 上，每个 Block

还可以复制数份存储于不同的 DataNode 上，达到容错容灾之目的。 NameNode 则是整个

HDFS 的核心，它通过维护一些数据结构，记录了每一个文件被切割成了多少个 Block，这

些 Block 可以从哪些 DataNode 中获得，各个 DataNode 的状态等重要信息。

MapReduce 是 Google 公司的核心计算模型，它将复杂的运行于大规模集群上的并行计

算过程高度的抽象到了两个函数，Map 和 Reduce, 这是一个令人惊讶的简单却又威力巨大

的模型。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可

以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。基于它写出来

的程序能够运行在由上千台商用机器组成的大型集群上，并以一种可靠容错的方式并行处理

T 级别的数据集，实现了 Haddoop 在集群上的数据和任务的并行计算与处理。

个人认为，从 HDFS（分布式文件系统）观点分析，集群中的服务器各尽其责，通力合

作，共同提供了整个文件系统的服务。从职责上集群服务器以各自任务分为 namenode、

datanode 服务器.其中 namenode 为主控服务器，datanode 为数据服务器。Namenode 管理所

有的 datanode 数据存储、备份、组织记录分配逻辑上的处理。说明白点 namenode 就是运筹

帷幄、负责布局指挥将军，具体的存储、备份是由 datanode 这样的战士执行完成的。故此

很多资料将 HDFS 分布式文件系统的组织结构分为 master（主人）和 slaver（奴隶）的关系。

其实和 namenode、datanode 划分道理是一样的。

4 / 21

从 MapReduce 计算模型观点分析，Map/Reduce 框架和分布式文件系统是运行在一组相

同的节点上的，也就是说计算节点和存储节点在一起。这种配置允许在那些已经存好数据的

节点上高效的调度任务，这样可以使整个集群的网络宽带得到非常高效的利用。另外，在

Hadoop 中，用于执行 MapReduce 任务的机器有两个角色： JobTracker,TaskTracker。

JobTracker（一个集群中只能有一台）是用于管理和调度工作的,TaskTracker 是用于执行

工作的。

在技术方面 Hadoop 体系具体包含了以下技术：

Common：在 0.20 及以前的版本中，包含 HDFS、MapReduce 和其他项目公共内容，从 0.21

开始 HDFS 和 MapReduce 被分离为独立的子项目，其余内容为 Hadoop Common。

Avro：新的数据序列化格式与传输工具，将逐步取代 Hadoop 原有的 IPC 机制。

MapReduce：并行计算框架，0.20 前使用 org.apache.hadoop.mapred 旧接口，0.20 版

本开始引入 org.apache.hadoop.mapreduce 的新 API。

HDFS：Hadoop 分布式文件系统(Hadoop Distributed File System)。

Pig：大数据分析平台，为用户提供多种接口。

Hive：数据仓库工具，由 Facebook 贡献。

Hbase：类似 Google BigTable 的分布式 NoSQL 列数据库。(HBase 和 Avro 已经于 2010

年 5 月成为顶级 Apache 项目)。

ZooKeeper：分布式锁设施，提供类似 Google Chubby 的功能，由 Facebook 贡献。

Sqoop：Sqoop 是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具，可以将

一个关系型数据库(例如：MySQL, Oracle, Postgres 等)中的数据导入到 Hadoop 的 HDFS

中，也可以将 HDFS 的数据导入到关系型数据库中。

Oozie：负责 MapReduce 作业调度。

以上对 Hadoop 体系框架和相应技术做了相应分析，并从 HDFS、MapReduce 的角度分析

了集群中的角色扮演，这既是我们实验的理论基础，也是实验研究 Hadoop 深层次系统知识

体系结构的意义所在。

5 / 21

剩余20页未读，继续阅读

内容反馈

版权申诉

xxpr_ybgg

粉丝: 6565
资源: 3万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip