没有合适的资源?快使用搜索试试~ 我知道了~
讲解了大数据生态架构在各大互联网公司的运用和搭建方法。
资源推荐
资源详情
资源评论
架构师特刊:大数据平台架构
1
2
架构师特刊:大数据平台架构
序言
当笔者一开始就将大数据技术和金钱庸俗地扯上关系时,相信不少开发者和
读者是不屑的,然而这里仅仅谈笔者在全球架构师峰会深圳站记录的两笔足以惊
讶的账:
Twitter 机器学习平台组负责人郭晓江:
我们上了大规模的在线学习的东西
之后,把整个 Twitter 的营收提高了大概 30% 左右,这对于 Twitter 是几十亿美
金的 business,30% 是一个非常非常可观的数字,而且超越了所有算法工程师这
么多年加起来的努力。
阿里巴巴速卖通技术部总监郭东白:
(基于大数据的全球电商系统性能优
化)我们把订单增加了 10.5%,这一年白花花的银子相当于白来的(例如一年的
GMV 是 10 亿美金,现在变成了 11 亿),直接回报是非常大的,这个项目给整个
AliExpress 每年带来了数亿美金的回报。
对于体量已经非常庞大的企业,大数据技术依旧能给它们带来可观的利润提
升,这也许是我们可见的最直观的大数据价值。
架构师特刊:大数据平台架构
3
相信在这个大数据引领变革的时代,不少开发者和企业都眼红大数据技术能
给自身带来怎样的利益。大数据听起来似乎深奥遥远,然而以机器学习和广告为
例,广告优化所需要的大数据机器学习算法等知识只需要上过 Andrew N 的机器
学习课就已经足够,但无论是 Twitter 还是 Google、 Facebook 都投入了无数的
人才和资源,就是要把机器学习做到系统规模化和服务规模化,而支撑起系统规
模化和服务规模化关键就是各互联网企业所努力搭建的大数据平台。
回到大数据本身,虽然企业推动自身大数据技术发展的动机不同,但实践起
来无非以下三步:
• 依托企业资源获取海量的用户行为,归纳提炼为数据;
• 凭借现有的大数据技术对数据全量挖掘分析;
• 根据企业的不同需求开发对应的应用。
作为用户的我们也许只关心企业在第 3 步中为我们提供了怎样的服务,例如
个性化推荐音乐、与人工智能对弈等等;但作为大数据开发者应当了解大数据平
台的建设是贯穿每一个环节的,唯有认真学习与实践才能在开发的每一步中提高
效率和降低成本。
因此在本期技术特刊中我们总结了酷狗、美团、Airbnb 的大数据平台架构
实践范例,以及携程、IFTTT、卷皮等公司业务结合大数据平台的架构分析,希
望读者能通过不同的角度从中收获到搭建大数据平台知识。
最后,互联网天生为大数据提供了极易获取数据的平台,我们正处于大数据
技术爆炸疯狂的最好时代,也处于处处被记录牺牲隐私的最差时代,我们唯有顺
势而为沉淀技术,才不至于被这个充满机遇和挑战的新时代提前淘汰。
ArchSummit 组委会
架构师特刊:大数据平台架构
4
目录
05 酷狗音乐的大数据平台重构
19 Airbnb 的大数据平台架构
25 美团大数据平台架构实践
41 电商卷皮 BI 的实践演进和架构体系
51 解密 IFTTT 的数据架构
56 面对百亿用户数据,日均亿次请求,携程应用架构如何涅
槃
5
架构师特刊:大数据平台架构
经典大数据架构案例 1:
酷狗音乐的大数据平台重构
作者
王劲
【编者按】本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。
酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工
作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续
改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。
眨眼就新的一年了,时间过的真快,趁这段时间一直在写总结的机会,也总
结下上一年的工作经验,避免重复踩坑。酷狗音乐大数据平台重构整整经历了一
年时间,大头的行为流水数据迁移到新平台稳定运行,在这过程中填过坑,挖过
坑,为后续业务的实时计算需求打下了很好的基础。在此感谢酷狗团队成员的不
懈努力,大部分从开始只知道大数据这个概念,到现在成为团队的技术支柱,感
到很欣慰。
从重构原因,技术架构,踩过的坑,后续持续改进四个方面来描述酷狗音乐
大数据平台重构的过程,在此抛砖引玉,这次的内容与 6 月份在高可用架构群分
享的大数据技术实践的有点不同,技术架构做了些调整。
其实大数据平台是一个庞大的系统工程,整个建设周期很长,涉及的生态链
很长 ( 包括:数据采集、接入,清洗、存储计算、数据挖掘,可视化等环节,每
剩余67页未读,继续阅读
资源评论
算法全栈之路
- 粉丝: 1409
- 资源: 31
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功