使用python实现mapreduce（wordcount）.doc
需积分: 48 114 浏览量
2019-07-31
15:49:52
上传
评论 1
收藏 33KB DOC 举报
实现 的 （ 平台）
作为 的基金项目，解决的大数据处理时间长的问题，其中
并行处理框架作为 中重要的成员。由于 的架构实现是由 实现的，所
以在进行大数据处理时， 程序用的较多，但是，想要把深度学习算法用到
中， 是深度学习和数据挖掘处理数据较为容易的语言，所以基于以上考虑，本文介
绍了使用 实现 中的 实验，文章内容（代码部分）来自于某
一博主 博客，发布的会给上参考链接。
主要使用的 提供的 ，首先，介绍一下
， 的作用
框架，最大的好处是，让任何语言编写的 程序能够
在 集群上运行； 程序只要遵循从标准输入 读，写出到标准输
出 即可；
其次，容易进行单机调试，通过管道前后相接的方式就可以模拟 在本
地完成 程序的调试
!"#$$ $%
最后， 框架还提供了作业提交时的丰富参数控制，直接通过
参数，而不需要使用 &' 语 言 修 改 ； 很 多 的 高 阶 功 能 ， 都 可 以 通 过
参数的调整来完成。
(， 的局限
默认只能处理文本数据 )*"#，对于二进制数据，比较好的方法是将二
进制的 +'# 进行 , -. 编码，转化为文本；
和 的前后都要进行标准输入和标准输出的转化，涉及数据拷贝和
解析，带来了一定的开销。
/， 命令的相关参数0普通选项、 选项1
!&2 2(3-343&56普通选项76 选项7
普通选项和 选项可以参考如下网址：
8 9:::3,# 3 2;&<<.=-=3#
Python 实现 MapReduce 的 WordCou：
（）首先，编写 3 脚本：
!> ,'
! ?)@0 1
?# 3 9
!'##:
#A#3 01
! ##:
: A#3 #01
!
资源评论
