Hadoop概述及CentOS安装和使用
71 浏览量
2021-01-09
09:33:31
上传
评论
收藏 2.66MB PDF 举报
Hadoop概述及概述及CentOS安装和使用安装和使用
Hadoop–入门入门Hadoop概述及CentOS安装和使用一. Hadoop概述1.HDFS2.MapReduce二.准备工作1.安装虚拟机软件 Vmware Workstation Pro2.安装Linux操作系统（CentOS7.4）
下载CentOS镜像文件安装CentOSCentOS配置
Hadoop概述及概述及CentOS安装和使用安装和使用
一一. Hadoop概述概述
Hadoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统
（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用
程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop
的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
1.HDFS
HDFS是一个分布式文件系统，且是一个高度容错性的系统，适合部署在廉价的机器上。HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes
组成服务器。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上
的存储。
2.MapReduce
最简单的 MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数和一个 main 函数。main 函数将作业控制和文件输入/输出结合起来。在这点上，Hadoop 提供
了大量的接口和抽象类，从而为 Hadoop应用程序开发人员提供许多工具，可用于调试和性能度量等 。MapReduce 本身就是用于并行处理大数据集的软件框架。MapReduce 的根源
是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每
个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。
二二.准备工作准备工作
1.安装虚拟机软件安装虚拟机软件 Vmware Workstation Pro
直接到官网下载合适的版本: VMware官网.第一次运行会要求输入密钥，密钥直接百度即可。
2.安装安装Linux操作系统（操作系统（CentOS7.4））
下载下载CentOS镜像文件镜像文件
1 进入CentOS官网，找到7.4版本对应的文件夹，进入/isos/x86_64/，然后下载CentOS-7-x86_64-DVD-1708.torrent
剩余17页未读，继续阅读
资源评论
