没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告在最终部署的Hadoop上运行WordCount程序实验报告.pdf

在最终部署的Hadoop上运行WordCount程序实验报告.pdf

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

网络互联

0 下载量 84 浏览量 2022-10-30 21:19:28 上传评论收藏 4.32MB PDF 举报

温馨提示

试读

28页

。

资源推荐

资源详情

资源评论

XX 大学计算机学院、软件学院

实验报告

学号: 姓名：专业：班级： 9 第 15 周

课程

名称

云计算与分布式系统

实验课时 6

实验

项目

在最终部署的 Hadoop 上运行 WordCount 程序实验时间 2015 年 6 月 11 日星期四

1. 首先通过 Linux 系统和 KVM 虚拟机的安装达成对 Linux 系统与虚拟机相关知识的了解和熟悉；

实验

目的

2. 通过 Linux 下 JAVA-ADT 的安装以及 Hadoop 的相关配置了解 Hadoop 的基础知识及基础的应

用方法；

3. 通过多台主机的虚拟化以及 Hadoop 的联合部署，在该平台上运行 WordCount 程序，体验基

本的云计算的雏形应用并加深对云计算相关知识的了解。

硬件环境：PC 机

实验

环境

软件环境：Ubuntu 镜像，Linux 镜像以及 KVM 虚拟机程序包

Word 资料

一、实验背景

1. 在云计算及其相关应用日益火爆的今天，我们通过课堂上老师讲述的云计算相关的基本知识，

已经对于利用 Hadoop 的配置实现一个较为简单的云计算环境有了一定的认识，因此，在本课

程的期末设计中，我们采用 Linux 下的 Hadoop 搭建来运行一些简单的程序比如 Wordcount

来达成对云计算的实现的基本知识的学习效果；

2. 本实验中使用的是 MapReduce 的编程模型，采用“分而治之”的基本思想，把对大规模数据

集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结

果，得到最终结果。简单地说，MapReduce 就是"任务的分解与结果的汇总"；

实验

内容

3. 在 Hadoop 中，用于执行 MapReduce 任务的机器角色有两个：一个是 JobTracker；另一个是

（算

法、

TaskTracker，JobTracker 是用于调度工作的，TaskTracker 是用于执行工作的。一个 Hadoop

程

序、

集群中只有一台 JobTracker；

步骤

和方

法）

4. 但是值得注意的一点是若要使用本实验中的 MapReduce 来处理数据集（或任务），其必须具

备如下特点：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并

行地进行处理。

二、 Linux 及 KVM 虚拟机安装

1. 首先我们找到比较常用的 Linux 适用版本镜像文件，这里我们使用的是图形化做得非常好的

Ubuntu 14.04，然后使用 UltraISO 做出一个启动盘并在电脑上做出一个双系统，分区大小我们

参照网络上的建议将主分区目录设置为 20G，成功做出一个 Linux 系统（这里我忘了截图了）

Word 资料

装机的过程和下面的虚拟机装机是一样的。

2. 然后我们在完成 Linux 下的基础软件安装的情况下进行程序的 KVM 虚拟机安装，首先使用如

下指令：$ egrep -o '(vmx|svm)' /proc/cpuinfo 检查 Linux 是否支持安装 KVM，结果显示是

可以安装的，于是我们这里使用指令：$ apt-get install qemu-kvm libvirt-bin virt-manager

bridge-utils 安装 KVM 虚拟机，安装过程是自动完成的，如下图所示：

Word 资料

3. 经验证我们发现 KVM 是安装成功并且正常运行的，安装成功的验证指令为：# lsmod | grep

kvm，到这里 KVM 的安装就基本完成了。

4. 然后我们需要在 KVM 上创建一个虚拟机，具体操作步骤如下：在根下创建 images 目录，在

images 下创建 iso 和 test 目录。

Word 资料

剩余27页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

不吃鸳鸯锅

粉丝: 8248
资源: 2万+

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

在最终部署的Hadoop上运行WordCount程序实验报告.pdf

实验2-在Hadoop平台上部署WordCount程序-孙淼1

实验2-在Hadoop平台上部署WordCount程序1

Hadoop示例程序WordCount运行及详解

Hadoop集群-WordCount运行详解.pdf

大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第6期_WordCount运行详解 共18页.pdf

使用hadoop实现WordCount实验报告.docx

大数据实验报告Hadoop编程实现wordcount单词统计程序附源码.doc

Hadoop环境搭建及wordcount实例运行.pdf

Hadoop 下单词反向索引程序实验报告.pdf

Hadoop的单机伪分布式搭建和运行第一个WordCount程序

云计算技术实验报告三运行Hadoop MapReduce程序

WordCount_MapReduce:在 Hadoop 上运行的 MapReduce 程序

Hadoop环境搭建与WordCount实例浅析.pdf

hadoop环境配置与实验报告.pdf

部署全分布模式Hadoop集群 实验报告

Hadoop集群-WordCount运行详解

《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf

Hadoop云计算平台实验报告.pdf

hadoop2.6.0 hadoop.dll包括winutils.exe

Hadoop mapreduce实现wordcount

基于Hadoop的在线文件管理系统-开题报告.pdf

Hadoop下载 hadoop-3.3.3.tar.gz

各个版本Hadoop，hadoop.dll以及winutils.exe文件下载大合集

相关实用应用程序（Windows可用）

免费可用的ChatGPT网页版.zip

ChatGPT使用总结：150个ChatGPT提示词模板（完整版）

chromedriver-win64.zip

全国计算机二级WPSoffice精选350道选择题题库（含答案）.pdf

哈尔滨工业大学-ChatGPT调研报告-2023.3.6-94页.pdf

最新资源

大数据与云计算培训学习资料 Hadoop集群细细品味Hadoop_第6期_WordCount运行详解共18页.pdf

部署全分布模式Hadoop集群实验报告