SparkCore笔记02资源-CSDN文库

31 浏览量 2021-01-07 11:49:10 上传评论收藏 671KB PDF 举报

资源推荐

资源详情

资源评论

Spark Core 笔记笔记02

Spark Core学习学习

对最近在看的赵星老师Spark视频中关于SparkCore的几个案例进行总结。

目录目录1.WordCountWordCount 执行流程详解2.统计最受欢迎老师topN1. 方法一：普通方法，不设置分组/分区2. 方法二：设置分组和过滤器3. 方法三：自定义分区器3.根据IP计算归属地

1.WordCount

Spark Core入门案例。

//创建spark配置，设置应用程序名字

//val conf=new SparkConf().setAppName("ScalaWordCount")

//设置本地调试

val conf=new SparkConf().setAppName("ScalaWordCount").setMaster("local[4]")

//创建spark执行的入口

val sc=new SparkContext(conf)

//指定以后从哪里读取数据创建RDD

//sc.textFile(args(0)).flatMap(_.split("")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile(args(1))

val lines: RDD[String] = sc.textFile(args(0))

//切分压平

val words:RDD[String]=lines.flatMap(_.split(""))

//将单词和一组合

val wordAndOne: RDD[(String, Int)] = words.map((_,1))

//按key进行聚合

val reduced: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_)

//排序

val sorted: RDD[(String, Int)] = reduced.sortBy(_._2,false)

//将结果保存到HDFS中

sorted.saveAsTextFile(args(1))

//释放资源

sc.stop()

WordCount 执行流程详解执行流程详解

WordCount执行过程中一共生成6个 RDD,2个Stage(一次shuffle）,task取决于分区数量

注意点：

1. textFile方法生成两个RDD，一个为HadoopRDD,一个为内部调用map方法产生的MapParitionsRDD

2. 切分Stage的方法为区分宽窄依赖，shuffle次数等于宽依赖次数

def textFile(

path: String,

minPartitions: Int = defaultMinPartitions): RDD[String] = withScope {

assertNotStopped()

hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text],

minPartitions).map(pair => pair._2.toString).setName(path)

}

WordCount执行流程：

DAG可视化：可视化：

2.统计最受欢迎老师统计最受欢迎老师topN

数据描述：

数据格式为以下类型：http://学科.edu360.cn/老师

http://bigdata.edu360.cn/laozhang

http://bigdata.edu360.cn/laozhang

http://bigdata.edu360.cn/laozhao

http://bigdata.edu360.cn/laozhao

http://javaee.edu360.cn/xiaoxu

http://javaee.edu360.cn/laoyang

1. 方法一：普通方法，不设置分组方法一：普通方法，不设置分组/分区分区

//创建spark配置，设置应用程序名字

val conf=new SparkConf().setAppName("ScalaWordCount").setMaster("local[4]")

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

内容反馈

weixin_38709379

粉丝: 3
资源: 954

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip