下载  >  开发技术  >  Java  > MapREduce33

MapREduce33 评分

MapREduce调度程序详细设计说明书

...展开详情
所需积分/C币:3 上传时间:2013-02-19 资源大小:307KB
举报 举报 收藏 收藏
分享 分享
MapReduce研发参考手册

亚信联创科技(中国)有限公司 一、 MapReduce介绍 5 二、 MapReduce工作原理 5 1. MapReduce作业运行流程 5 2. Map、Reduce任务中Shuffle和排序的过程 6 三、 MapReduce程序开发 9 1. Word count 统计程序map reduce实现 9 2. 项目开发实战 10 四、 MapReduce编码流程 16 1. 编程组件 16 2. 创建Map类和map函数 16 3. 创建Reducer类和reduce函数 17 4. 配置Hadoop任务,调用Map Reduce程序 17 五、 程序功能扩展 18 1. Partit

立即下载
Python执行MapReduce测试

Python执行MapReduce测试,python编写map和reduce程序,并验证测试

立即下载
基于cloudera搭建hadoop集群

一. Cloudera Manager 4 二. 下载地址 4 三. 安装环境 4 四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 5. 用户sudo功能设置 7 6. 挂载硬盘 7 7. 配置yum源 9 8. 关闭防火墙 9 9. 配置ssh免key(可以不配置) 10 10. 配置时间同步 10 11. 设置hadoop存储目录 11 12. 配置cm源文件 11 五. 安装 12 1. 安装cm 12 2. 安装cdh 22 六. 卸载 33 七. 参数调整 33 1. Mapreduce 33

立即下载
Hadoop源码解析与开发实战视频教程分享

课程目录: 课时1:免费试听 课时2:免费试听二 课时3:付费学员服务指引 课时4:课前环境准备 课时5:参考资料 课时6:Hadoop开源软件及其生态系统 课时7:HDFS集群的安装与部署 课时8:MapReduce集群的安装与部署 课时9:阅读练习 课时10:第一周练习 课时11:Hadoop架构答疑 课时12:HDFS架构、SNN、副本放置策略 课时13:HDFS API 课时14:练习2:HDFS组件分析1 课时15:本周答疑 课时16:准备:JNI编程基础 课时17:Hadoop IO 课时18:HDFS 压缩 课时19:HDFS 完整性 课时20:HDFS 序列化 课时21:练习3

立即下载
尚硅谷2018年9月最新大数据视频教程

尚硅谷2018年9月最新大数据视频教程 课程目录: 01_尚硅谷_课程简介_大数据课程.avi 02_尚硅谷_课程简介_Hadoop课程.avi 03_尚硅谷_入门_大数据概念.avi 04_尚硅谷_入门_大数据特点(4V).avi 05_尚硅谷_入门_大数据应用场景.avi 06_尚硅谷_入门_大数据发展前景.avi 07_尚硅谷_入门_大数据部门业务流程分析.avi 08_尚硅谷_入门_大数据部门组织结构(重点).avi 09_尚硅谷_Hadoop_是什么.avi 10_尚硅谷_Hadoop_发展历史.avi 11_尚硅谷_Hadoop_三大发行版本.avi 12_尚硅谷_Hadoop_优

立即下载
Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

前言 致谢 关于本书 第1 部分 背景和基本原理 1 跳跃中的Hadoop 1.1 什么是Hadoop 1.1.1 Hadoop 的核心组件 1.1.2 Hadoop 生态圈 1.1.3 物理架构 1.1.4 谁在使用Hadoop 1.1.5 Hadoop 的局限性 1.2 运行Hadoop 1.2.1 下载并安装Hadoop 1.2.2 Hadoop 的配置 1.2.3 CLI 基本命令 1.2.4 运行MapReduce 作业 1.3 本章小结 第2 部分 数据逻辑. 2 将数据导入导出Hadoop. 2.1 导入导出的关键要素 2.2 将数据导入Hadoop . 2.2.1

立即下载
Hadoop实战(第2版)

Hadoop是一个开源的MapReduce平台,设计运行在大型分布式集群环境中,提供查询和分析服务。尤其适用于大数据系统,Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、管理以及分析提供便利的方法。   《Hadoop硬实战》收集了85个问题场景以及解决方案的实战演练。在关键问题领域对基础概念和实战方法做了权衡,例如导入导出、序列化,以及LZO压缩。你将会学习到每个技术的细节,以及当遇到一个具体问题时能够给出对应的解决方案。本书提供了结构良好且易于理解的例子,可用于应对你所遇到的问题。   《Hadoop硬实战》包含:   

立即下载
hadoop-2.2.0-x64.tar.gz part3

自己编译的64bithadoop-2.2.0版本 [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................ SUCCESS [1.834s] [INFO] Apache Hadoop Project POM ......................... SUCCESS [1.621s] [INFO] Apache Hadoop Annotations ......................... SUCCESS [3.682s] [INFO] Apache H

立即下载
hadoop-2.2.0-x64.tar.gz part2

hadoop-2.2.0 64bit下载,自己编译的 [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................ SUCCESS [1.834s] [INFO] Apache Hadoop Project POM ......................... SUCCESS [1.621s] [INFO] Apache Hadoop Annotations ......................... SUCCESS [3.682s] [INFO] Apache

立即下载
hadoop-2.2.0-x64.tar.gz part1

hadoop-2.2.0, 64 bit,下载 自己编译的64bit的hadoop-2.2.0,自己lab安装使用。 [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................ SUCCESS [1.834s] [INFO] Apache Hadoop Project POM ......................... SUCCESS [1.621s] [INFO] Apache Hadoop Annotations ........................

立即下载
代码之美(中文完整版).pdf

主要讲述了计算机系统的开发领域。在每章中的漂亮代码都是来自独特解决方案的发现,而这种发现是来源于作者超越既定边界的远见卓识,并且识别出被多数人忽视的需求以及找出令人叹为观止的问题解决方案。 本书介绍了人类在一个奋斗领域中的创造性和灵活性:计算机系统的开发领域。在每章中的漂亮代码都是来自独特解决方案的发现,而这种发现是来源于作者超越既定边界的远见卓识,并且识别出被多数人忽视的需求以及找出令人叹为观止的问题解决方案。 本书33章,有33位作者,每位作者贡献一章。每位作者都将自己心目中对于“美丽的代码”的认识浓缩在一章当中,张力十足。33位大师,每个人对代码之美都 有自己独特的认识,现在一览无余的放

立即下载
Designing.Data-Intensive.Applications(设计数据密集型应用)

完整文字版(英文),带书签目录,介绍分布式原理,非常非常好的一本书。作者:马丁·科勒普曼 ,目录如下: Part I. Foundations of Data Systems 1. Reliable, Scalable, and Maintainable Applications 3 Thinking About Data Systems 4 Reliability 6 Hardware Faults 7 Software Errors 8 Human Errors 9 How Important Is Reliability? 10 Scalability 10 Describing Loa

立即下载
Hadoop Application Architectures

Preface. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix 1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2.

立即下载
nosql 入门教程

第一部分  NoSQL入门 第1章  NoSQL的概念及适用范围 2 1.1  定义和介绍 3 1.1.1  背景与历史 3 1.1.2  大数据 5 1.1.3  可扩展性 7 1.1.4  MapReduce 8 1.2  面向列的有序存储 9 1.3  键/值存储 11 1.4  文档数据库 14 1.5  图形数据库 15 1.6  小结 16 第2章  NoSQL上手初体验 17 2.1  第一印象——两个简单的例子 17 2.1.1  简单的位置偏好数据集 17 2.1.2  存储汽车品牌和型号数据 22 2.2  使用多种语言 30 2.2.1  MongoDB驱动 30 2.

立即下载
深入NoSQL(NoSQL实践指南)

第一部分  NoSQL入门 第1章  NoSQL的概念及适用范围 2 1.1  定义和介绍 3 1.1.1  背景与历史 3 1.1.2  大数据 5 1.1.3  可扩展性 7 1.1.4  MapReduce 8 1.2  面向列的有序存储 9 1.3  键/值存储 11 1.4  文档数据库 14 1.5  图形数据库 15 1.6  小结 16 第2章  NoSQL上手初体验 17 2.1  第一印象——两个简单的例子 17 2.1.1  简单的位置偏好数据集 17 2.1.2  存储汽车品牌和型号数据 22 2.2  使用多种语言 30 2.2.1  MongoDB驱动 30 2.2

立即下载
分布式数据仓库Hive大全

1. HIVE结构 6 1.1 HIVE架构 6 1.2 Hive 和 Hadoop 关系 7 1.3 Hive 和普通关系数据库的异同 8 1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 其它例子 16 2.2 Alter Table 17 2.2.1 Add Partitions 17 2.2.2 D

立即下载
Hive用户指南

Hive用户指南 目录 1. HIVE结构 6 1.1 HIVE架构 6 1.2 Hive 和 Hadoop 关系 7 1.3 Hive 和普通关系数据库的异同 8 1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 其它例子 16 2.2 Alter Table 17 2.2.1 Add Partition

立即下载
37篇经过消化的云计算论文

37篇经过消化的云计算论文 下列论文归类: 1、云计算设施管理 监测 2,34 负载均衡 33,35 数据管理 32 能耗管理 29 安全管理 25 2、云计算平台实例 虚拟机 27,31 存储平台 5,6,12,13,14,19,22,26 计算平台 平台测评 1 云平台集成 10 3、云计算理论模型 描述模型 4 选择模型 20 编程模型 7,9,18,24,36 4、云计算应用研究 商业应用 科学应用 11,15,17,23 云安全 21,30 1、 Atmosphere-Ocean Climate (性能测试) 这篇文章讨论了高性能标准测试

立即下载
37篇经过消化云计算论文打包下载

37篇经过消化云计算论文打包下载 [日期:2010-02-20] 来源:中国云计算 作者:龚传 [字体:大 中 小] 下列论文归类: 1、云计算设施管理 监测 2,34 负载均衡 33,35 数据管理 32 能耗管理 29 安全管理 25 2、云计算平台实例 虚拟机 27,31 存储平台 5,6,12,13,14,19,22,26 计算平台 平台测评 1 云平台集成 10 3、云计算理论模型 描述模型 4 选择模型 20 编程模型 7,9,18,24,36 4、云计算应用研究 商业应用 科学应用 11,15,17,23 云安全 21,30 这37篇论文系刘鹏教授的研究生龚

立即下载
ModbusTCP/RTU网关设计

基于UIP协议栈,实现MODBUS联网,可参考本文档资料,有MODBUS协议介绍

立即下载