大数据处理框架：Hadoop：Hadoop生态系统概览.docx

大数据处理框架：Hadoop：Hadoop 生态系统概览

1 大数据处理框架：Hadoop：Hadoop 生态系统概览

1.1 Hadoop 简介

1.1.1 Hadoop 的历史与发展

Hadoop 项目起源于 2004 年，由 Doug Cutting 和 Mike Cafarella 在雅虎公司

内部开发。其灵感来源于 Google 发表的两篇论文：《Google File System》和

《MapReduce: Simplified Data Processing on Large Clusters》。Hadoop 最初设计是

Hive、Pig、HBase、ZooKeeper 等，共同构成了一个强大的大数据处理平台。

1.1.2 Hadoop 的核心组件解析

1.1.2.1 HDFS（Hadoop Distributed File System）

HDFS 是 Hadoop 的核心组件之一，它是一个分布式文件系统，设计用于存

储大量数据。HDFS 将数据分成多个块（默认大小为 128MB），并将这些块分布

存储在集群中的多个节点上，以提高数据的可靠性和访问速度。HDFS 的架构包

括一个 NameNode 和多个 DataNodes。NameNode 负责管理文件系统的命名空

间和元数据，而 DataNodes 则负责存储和检索数据块。

示例代码：使用 HDFS 的 Java API 上传文件到 HDFS。

import org.apache.hadoop.conf.Configuration;

//

HDFS

conf.set("fs.defaultFS", "hdfs://localhost:9000");

//

HDFS

FileSystem fs = FileSystem.get(conf);

//

HDFS

Path src = new Path("/path/to/local/file");

Path dst = new Path("/path/in/hdfs");

//

fs.copyFromLocalFile(src, dst);

//

阶段和 Reduce 阶段。在 Map 阶段，输入数据被分割成小块，由多个 Map 任务

并行处理。在 Reduce 阶段，Map 任务的输出被汇总，由 Reduce 任务进一步处

理，生成最终结果。

示例代码：使用 MapReduce 计算 WordCount。

// Map

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

public void map(Object key, Text value, Context context) throws IOException, InterruptedExce

ption {

}

// Reduce

public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOExceptio

n, InterruptedException {

int sum = 0;

for (IntWritable val : values) {

sum += val.get();

}

}

}

YARN 的架构包括 ResourceManager、NodeManager 和 ApplicationMaster。

示例代码：使用 YARN 提交 MapReduce 作业。

import org.apache.hadoop.yarn.conf.YarnConfiguration;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class YARNExample {

public static void main(String[] args) throws Exception {

//

Hadoop

Configuration conf = new YarnConfiguration();

job.setReducerClass(IntSumReducer.class);

//

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

//

FileInputFormat.addInputPath(job, new Path(args[0]));

FileOutputFormat.setOutputPath(job, new Path(args[1]));

//

System.exit(job.waitForCompletion(true) ? 0 : 1);

}

Hadoop 分布式文件系统（HDFS）是 Hadoop 生态系统中的核心组件之一，

它为大数据处理提供了高吞吐量的访问能力，适合部署在廉价的硬件上。HDFS

的设计目标是处理大量数据的存储，其架构主要由以下三个组件构成：

� NameNode: 负责管理文件系统的命名空间，维护文件系统树以及

文件树中所有文件和目录的元数据。

� DataNode: 存储实际的数据块，执行数据块的读/写操作，定期向

NameNode 发送心跳信号和块报告。

� Secondary NameNode: 它不是 NameNode 的热备份，而是帮助

NameNode 合并 fsimage 和 editlogs，减少 NameNode 的启动时间。

2.1.1 HDFS 的数据块

� 数据块的复制：HDFS 通过数据块的复制来提高数据的可靠性。当

一个文件被写入 HDFS 时，数据块会被复制到多个 DataNode 上，通常复

制因子为 3。这意味着每个数据块有三个副本，分布在不同的节点上。

� 数据块的放置策略：HDFS 在放置数据块时，会优先考虑将副本放

置在不同的机架上，以避免机架故障导致数据丢失。此外，它还会考虑

网络拓扑，将数据块副本放置在网络距离较近的节点上，以减少数据传

输的延迟。

� 数据块的读取：读取数据时，HDFS 会从最近的 DataNode 读取数

据块，如果最近的节点不可用，它会从其他副本中读取数据。

2.2.1 示例：使用 HDFS Shell 进行数据操作