CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践

4星(超过85%的资源)
所需积分/C币:10 2016-05-17 11:15:39 1.38MB PDF
78
收藏 收藏
举报

该文档来自CCTC 2016中国云计算技术大会。AdMaster技术副总裁兼总架构师卢亿雷发表的题为“Spark的大数据应用实践”的主题演讲,欢迎下载!
我们是谁 AdMaster: Make a Happy world with Data 使用的大数据技术 Hadoop HBase MapReduce Hive Spark Storm ElasticSearch Pinot △ AdMaster Why On Yarn MR/Spak/ Storm计算方式众多, On yarn方便统一协调 服务器众多,方便资源统一控制 部门众多,方便资源统计和成本核算 efault: (3.61%6) rot(23.12 root grp (45.27% root ort (5.20% root. real:(0. 00%) root databank. (11.37% △ AdMaster Why On Yarn Yarn越来越成熟了 流式处理的输岀,批量处理的输入/输岀,基本就是HDFS Yan+ Fair scheduler我们自己在持续优化调度 某些场景下,集群闲,但是不调度 经常会“空转” △ AdMaster 坑:Yar cdh26.0-5.5.1子队列不生效的bug:对于子队列名转换的处理,解析和调用不一致 mapreduce fileoutputcommitter algorithm version 2 对作业日志进行合并清理,拖慢运行速度 26中新增参数,默认为1,即之前的做法.设置为2,速度可以提升约30% Pg对 History Server的依赖 △ AdMaster 坑:Yarn container内存限制”机制各种两难 设置太小或不设置,作业有可能因为内存不足而失败 设置太大,资源浪费 不启用,机器OOM △ AdMaster 坑: Spark on Yarn Executor的内存没达到上限前被ki 调高 spark.yarn. executor. memoryOverhead,默认384,根据实际需求调高 当有较多 Map Reduce job, scheduler调度压力增大的时候, Spark job会被k川掉 升级 hadoop集群到26以上版本 Executor Oom 增加job的并行度 大数据集切分成更小的数据 调整 spark storage memory Fraction和 spark executor. memory 设置 spark cleaner:廿清理元数据 △ AdMaster ElasticSearch Spark Spark and es ES简单维度下钻/汇聚/搜索 Spark复杂业务处理 Spark on Es https://www.elastic.co/products/hadoop Write: save ToEs Read:va|RDD= SC eSRD( radio/ artists”)∥后面是 index △ AdMaster E| asticSearch比较 测试条件 ·记录条数分为100亿以内和1000亿条 服务器数量为70台,配置为:CPU12核,内存96G,硬盘48T 测试语句: select count() from test where age>25 and gender>0 and os>"500"and sc in(0001009,0002036,0016030", '...)or bs>585 and group by age, gender, os, bs 总共200列:动态列为3列(多值列),普通列为11列 △ AdMaster

...展开详情
试读 22P CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践
立即下载 身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
geoge0714 这种实践类型的最带感觉了
2017-11-18
回复
alto1394 Spark技术的应用实践,有一定的参考价值。
2017-08-12
回复
wonder00 非常好的资料,学习一下,谢谢!
2016-06-17
回复
zxcliving123TADIE 还可以 借鉴一下 谢谢
2016-06-14
回复
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 签到王者

  • 技术圈认证(专家版)

  • 分享王者

关注 私信
上传资源赚钱or赚积分
最新推荐
CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践 10积分/C币 立即下载
1/22
CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践第1页
CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践第2页
CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践第3页
CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践第4页
CCTC 2016 AdMaster卢亿雷:Spark的大数据应用实践第5页

试读结束, 可继续读2页

10积分/C币 立即下载