Sparkvs.MapReduce时间节约66%,计算节约40%

所需积分/C币:5 2021-03-03 20:29:56 230KB PDF
5
收藏 收藏
举报

本文将介绍基于物品的协同过滤推荐算法案例在TDWSpark与MapReudce上的实现对比,相比于MapReduce,TDWSpark执行时间减少了66%,计算成本降低了40%。MapReduce为大数据挖掘提供了有力的支持,但是复杂的挖掘算法往往需要多个MapReduce作业才能完成,多个作业之间存在着冗余的磁盘读写开销和多次资源申请过程,使得基于MapReduce的算法实现存在严重的性能问题。后起之秀Spark得益于其在迭代计算和内存计算上的优势,可以自动调度复杂的计算任务,避免中间结果的磁盘读写和资源申请过程,非常适合数据挖掘算法。腾讯TDWSpark平台基于社区最新Spark版本进行深

...展开详情
试读 4P Sparkvs.MapReduce时间节约66%,计算节约40%
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
Sparkvs.MapReduce时间节约66%,计算节约40% 5积分/C币 立即下载
1/4
Sparkvs.MapReduce时间节约66%,计算节约40%第1页

试读结束, 可继续读1页

5积分/C币 立即下载 >