Spark SQL 在字节跳动的优化实践-郭俊.pdf

所需积分/C币:50 2019-12-03 22:15:50 47.95MB PDF
收藏 收藏
举报

Spark 在字节跳动内部扮演着重要角色。在数据仓库领域,Spark SQL 正在逐渐取代 Hive 成为主要的 ETL 计算引擎,另外它还是字节跳动内部重要的 ad-hoc 查询引擎。目前 Spark 每天处理百万亿级数据,单任务 Shuffle 数据量可超过 200TB。同时 Spark 与其它系统混合部署,因此性能与稳定性都是需要重点解决的问题。本次分享将会基于基础架构团队过往的工作成果,介绍字节跳动在提升基于 Spark SQL 的 ETL 稳定性以及优化 ad-hoc 查询的性能方面的实践。

...展开详情
试读 40P Spark SQL 在字节跳动的优化实践-郭俊.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    • 签到新秀

      累计签到获取,不积跬步,无以至千里,继续坚持!
    • 分享王者

      成功上传51个资源即可获取
    关注 私信 TA的资源
    上传资源赚积分,得勋章
    最新推荐
    Spark SQL 在字节跳动的优化实践-郭俊.pdf 50积分/C币 立即下载
    1/40
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第1页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第2页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第3页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第4页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第5页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第6页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第7页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第8页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第9页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第10页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第11页
    Spark SQL 在字节跳动的优化实践-郭俊.pdf第12页

    试读已结束,剩余28页未读...

    50积分/C币 立即下载 >