大数据技术实践——Spark词频统计
5星 · 超过95%的资源 需积分: 50 78 浏览量
2021-08-23
17:51:37
上传
评论 6
收藏 1.2MB DOCX 举报 
一、实验题目
大数据技术实践——Spark 词频统计
二、引言
本次作业要完成在 Hadoop 平台搭建完成的基础上，利用 Spark 组件完成文
本词频统计的任务，目标是学习 Scala 语言，理解 Spark 编程思想，基于 Spark
思想，使用 IDEA 编写 SparkWordCount 程序，并能够在 spark-shell 中执行代码
和分析执行过程。
三、技术/算法介绍
1. 基本介绍：
Spark 是一种由 Scala 语言开发的基于内存的快速、通用、可扩展的大数据
分析引擎。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。
与 Hadoop 不同，Spark 和 Scala能够紧密集成，其中的 Scala 可以像操作本地
集合对象一样轻松地操作分布式数据集。
Spark，拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是
——Job 中间输出结果可以保存在内存中，从而不再需要读写 HDFS，因此
Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。
另外，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可
以优化迭代工作负载。
2. 基本原理：
剩余13页未读，继续阅读
资源评论
行走的瓶子Yolo2023-07-25这篇文章对Spark词频统计进行了详实的描述，并提供了一些实战案例，非常值得一读。
会飞的黄油2023-07-25作者深入浅出地阐述了Spark词频统计的原理和应用场景，对于新手来说也很友好。
黄涵奕2023-07-25该文件的解释清晰，图文并茂，让人容易理解和跟随操作步骤。
十二.122023-07-25文章的观点中肯，结合实际情况讲解了大数据技术中Spark词频统计的重要性。
罗小熙2023-07-25这篇文件对Spark词频统计进行了实践，内容丰富，给予了很多有用的示例。
