Flink + Iceberg + 对象存储，构建数据湖方案
需积分: 24 168 浏览量
2022-08-26
09:20:21
上传
评论
收藏 1.59MB PDF 举报
Flink + Iceberg + 对象存储，构建数据湖方案
阿里云云栖号
发布时间: 2021-07-16 10:49 阿里云计算有限公司
播报文章
本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup
分享的《Iceberg 和对象存储构建数据湖方案》，文章内容为：
1.数据湖和 Iceberg 简介
2.对象存储支撑 Iceberg 数据湖
3.演示方案
4.存储优化的一些思考
一、数据湖和 Iceberg 简介
1. 数据湖生态
如上图所示，对于一个成熟的数据湖生态而言：
首先我们认为它底下应具备海量存储的能力，常见的有对象存储，公有云存储以及
HDFS；
在这之上，也需要支持丰富的数据类型，包括非结构化的图像视频，半结构化的
CSV、XML、Log，以及结构化的数据库表；
除此之外，需要高效统一的元数据管理，使得计算引擎可以方便地索引到各种类型数
据来做分析。
最后，我们需要支持丰富的计算引擎，包括 Flink、Spark、Hive、Presto 等，从而方
便对接企业中已有的一些应用架构。
2. 结构化数据在数据湖上的应用场景
作者最新文章
Spring Boot Serverless 实战系
列“架构篇”｜光速入门函数计算
从“香农熵”到“告警降噪”，如何
提升告警精度？
KubeDL 0.4.0 - Kubernetes AI
模型版本管理与追踪
相关文章
JuiceFS 缓存策略详解
「金猿产品展」InsightOne——
让数据价值安全释放
海事数据服务系统上线运行 助力
海事业务高质量发展
百度首页
倍鲁奇
剩余13页未读，继续阅读
资源评论
