2 快速入门 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3 场景教程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4 全面开发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.2 MapReduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.1 MapReduce简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.2 程序准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.3 集群准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.2.4 运行作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.2.5 查看结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.3 Hadoop Streaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.3.1 Hadoop Streaming简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.3.2 程序准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.3.3 集群准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3.4 运行作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3.5 查看结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.3.6 分布式缓存导入数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
支持的文件类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.4 Spark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.4.1 Spark简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.4.2 集群准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.4.3 Spark Java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
程序准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
运行Spark作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
查看结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.4.4 Spark Scala . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
程序准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
ii
