Spark：用：用Scala和和Java实现实现WordCount
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何
搭建scala和IDEA开发环境，请看文末的参考资料。
用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子
（$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java）
1.环境
OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)
Hadoop:Hadoop 2.4.1
JDK:1.7.0_60
Spark:1.1.0
Scala:2.11.2
集成开发环境：IntelliJ IDEA 13.1.3
注意：需要在客户端windows环境下安装IDEA、Scala、JDK，并且为IDEA下载scala插件。
2.Scala实现单词计数
package com.hq
2
3 /**
4 * User: hadoop
5 * Date: 2014/10/10 0010
6 * Time: 18:59
7 */
8 import org.apache.spark.SparkConf
9 import org.apache.spark.SparkContext
10 import org.apache.spark.SparkContext._
11
12 /**
13 * 统计字符出现次数
14 */
15 object WordCount {
16 def main(args: Array[String]) {
17 if (args.length < 1) {
18 System.err.println("Usage: <file>")
19 System.exit(1)
20 }
21
22 val conf = new SparkConf()
23 val sc = new SparkContext(conf)
24 val line = sc.textFile(args(0))
25
26 line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println)
27
28 sc.stop()
29 }
30 }
3.Java实现单词计数
剩余6页未读，继续阅读
资源评论
weixin_38685831
- 粉丝: 8
- 资源: 874
