藏经阁-Sloth:网易流计算服务化平台架构实践.pdf
"藏经阁-Sloth:网易流计算服务化平台架构实践.pdf" 本文档主要介绍了网易流计算服务化平台架构实践,名为Sloth。该平台主要目标是为了解决大数据应用开发中的流计算问题,提供了一个统一的流计算服务化平台。 文档介绍了Sloth平台的架构,包括网易杭州研究院的大数据技术负责人&首席架构师的个人简介,以及数据平台数据务架构的总体设计。该平台主要依赖于Aliyun StreamCompute(galaxy),并且使用了Hive、Spark、HDFS、Kudu、HBase、Sqoop、NDC等开源技术。 文档详细介绍了Sloth平台的特点,包括: 1.增量计算模型:支持增量计算的方式,能够实时处理大数据。 2.流计算服务化:提供了一个统一的流计算服务化平台,能够满足不同应用场景的需求。 3.数据自动加密:支持数据自动加密,保护敏感数据不被泄露。 4.权限同步:支持到列级的权限控制,能够确保数据的安全性。 5.数据地图:提供了一个统一的数据地图,能够帮助用户快速定位数据。 在平台架构中,还包括了Azkaban、Ranger、DQC、Kerberos、Amber等组件,用于实现资源管理、调度、数据集成、数据存储等功能。 此外,文档还介绍了Sloth平台的应用场景,包括数据加工、数据计算、资源管理、数据集成等。同时,还提供了一个示例应用场景,即对所有商家按销售额进行统计,使用增量计算模型来实现实时计算。 Sloth平台是一个功能强大、灵活、可扩展的流计算服务化平台,能够满足大数据应用开发中的流计算需求。 知识点: 1. 流计算服务化平台 2. 增量计算模型 3. 数据自动加密 4. 权限同步 5. 数据地图 6. Aliyun StreamCompute(galaxy) 7. Hive 8. Spark 9. HDFS 10. Kudu 11. HBase 12. Sqoop 13. NDC 14. Azkaban 15. Ranger 16. DQC 17. Kerberos 18. Amber 19. 大数据应用开发 20. 数据加工 21. 数据计算 22. 资源管理 23. 数据集成
- 粉丝: 83
- 资源: 1万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助