Hadoop 伪分布模式安装
大
中
小
实验目的
1、了解 Hadoop 的 3 种运行模式
2、熟练掌握 Hadoop 伪分布模式安装流程
3、培养独立完成 Hadoop 伪分布安装的能力
实验原理
Hadoop 由 Apache 基金会开发的分布式系统基础架构，是利用集群对大量数据进
行分布式处理和存储的软件框架。用户可以轻松地在 Hadoop 集群上开发和运行
处理海量数据的应用程序。Hadoop 有高可靠，高扩展，高效性，高容错等优点。
Hadoop 框架最核心的设计就是 HDFS 和 MapReduce。HDFS 为海量的数据提供了存
储，MapReduce 为海量的数据提供了计算。此外，Hadoop 还包括了 Hive，
Hbase，ZooKeeper，Pig，Avro，Sqoop，Flume，Mahout 等项目。
Hadoop 的运行模式分为 3 种：本地运行模式，伪分布运行模式，完全分布运行
模式。
（1）本地模式（local mode）
这种运行模式在一台单机上运行，没有 HDFS 分布式文件系统，而是直接读写本
地操作系统中的文件系统。在本地运行模式（local mode）中不存在守护进程，
所有进程都运行在一个 JVM 上。单机模式适用于开发阶段运行 MapReduce 程序，
这也是最少使用的一个模式。
（2）伪分布模式
这种运行模式是在单台服务器上模拟 Hadoop 的完全分布模式，单机上的分布式
并不是真正的分布式，而是使用线程模拟的分布式。在这个模式中，所有守护进
程(NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode)
都在同一台机器上运行。因为伪分布运行模式的 Hadoop 集群只有一个节点，所
以 HDFS 中的块复制将限制为单个副本，其 secondary-master 和 slave 也都将运
行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全
类似于完全分布式，因此，常用于开发人员测试程序的执行。本次实验就是在一
台服务器上进行伪分布运行模式的搭建。
（3）完全分布模式
剩余15页未读，继续阅读
资源评论
～O2
- 粉丝: 5
- 资源: 6
