hadoop、storm、spark的区别对比
需积分: 47 78 浏览量
2018-07-10
12:32:49
上传
评论 1
收藏 22KB PDF 举报
hadoop、storm 和 spark 的区别、比较
一、 hadoop、Storm 该选哪一个？
为了区别 hadoop 和 Storm ，该部分将回答如下问题 ：
1.hadoop 、Storm 各是什么运算
2.Storm 为什么被称之为流式计算系统
3.hadoop 适合什么场景，什么情况下使用 hadoop
4. 什么是吞吐量
首先整体认识： Hadoop 是磁盘 级计算，进行计算时，数据在磁盘上，需要读写磁盘； Storm
是内存级计算， 数据直接通过网络导入内存。 读写内存比读写磁盘速度快 n 个数量级。 根据
Harvard CS61 课件，磁盘访问延迟约为内存访问延迟的 75000 倍。所以 Storm 更快。
注释：
1. 延时 ， 指数据从产生到运算产生结果的时间，“快”应该主要指这个。
2. 吞吐， 指系统单位时间处理的数据量。
storm 的网络直传、内存计算，其时延必然比 hadoop 的通过 hdfs 传输低得多；当计算模型
比较适合流式时， storm 的流式处理，省去了批处理的收集数据的时间；因为 storm 是服务
资源评论
