为什么Spark能成为最火的大数据计算引擎.docx
128 浏览量
2022-12-14
01:30:00
上传
评论
收藏 463KB DOCX 举报
为什么Spark能成为最火的大数据计算引擎？它是怎 样工作
的？
导读：零基础入门Spark必读。
^hadoopVS.
APACHSSporK
01概述十年前我们只有Hadoop ,大家首先通过HDFS实现海量数据的共享存储，
然后使用 MapReduce以批处理的方式处理这些海量数据，这一切看起来似乎十
分完美。
但众口难调啊，有人觉得M叩Reduce的编程模型太难使用了，为什么不能使用SQL 来分析数据
呢？我们数据库领域已经有非常成熟的数据仓库模型了，为何不实现一个大 数据技术的数据仓库
呢？于是Hive类的框架便诞生了，人们开始使用Hive类的框架 来构建大数据技术的数据仓库，
使用SQL查询数据。
接着人们又开始诟病MapReduce的执行效率太慢，因为它本质上是面向批处理场景的, 难
以支撑一些实时性要求很高的场景，我们需要一种能够支撑流计算的架构，于是 Storm类
的框架诞生了。人们开始使用Storm这类框架处理流计算场景。
接着伴随垃圾邮件分析、商品推荐、金融风控这类应用场景需求的出现，又迫使我们需 要
在大数据场景下具备机器学习的能力，于是乎Mahout类的框架出现了，人们使用 它们来
进行大数据下的机器学习。
资源评论
yyyyyyhhh222
- 粉丝: 404
- 资源: 6万+
最新资源
- pta题库答案c语言之复杂度1最大子列和问题.zip
- 三维装箱问题（Three-Dimensional Bin Packing Problem,3D-BPP）是一个经典的组合优化问题
- 以下是一些关于Linux线程同步的基本概念和方法.txt
- 以下是一个简化的示例，它使用pygame库来模拟烟花动画的框架.txt
- Linux线程同步机制深度解析与实用指南.zip
- PTA题库C语言解题策略与实战.rar
- SVPWM控制技术的simulink建模与仿真【包括simulink模型，参考文献，操作步骤】
- AI高清修复图片画质易语言易语言源码易语言填表
- 映射窗口.ec易语言易语言模块CPU占用0%游戏监控窗口监控
- 易语言 361窗口模块高效、便捷、自封装、自用
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
