1. MapReduce介绍 1
1.1 编程模式 1
2.2 简单例子 1
2 用户自定义接口 3
2.1 map函数 3
2.2 Reduce函数 3
2.3输入和输出格式 4
2.4 partitioner函数 4
2.5 Combiner函数 4
3 Hadoop MapReduce平台使用 5
3.1 streaming介绍 5
3.2 C语言Map-Reduce程序示例 6
3.2.1计算任务 6
3.2.2 Mapper算法设计 7
3.2.3 Reducer算法设计 8
3.2.4 作业提交命令 9
3.3 shell Map-Reduce程序示例 9
3.3.1计算任务 9
3.3.2 map实现 10
3.3.3 reduce实现 11
3.3.4 作业提交命令 11
4技巧 12
4.1 顺序保证 12
4.2 本地执行 12
4.3 状态信息 13
5 实际经验 13
5.1 spider rubbish-mine全库挖掘项目 13
5.2 Rank组page共现信息计算 14
5.3 PS日志分析计算 15
5.4 用户访问信息展现 16
6 参考资料 17
附录一 18
