基于 Flink CDC 的现代数据栈.pdf

基于 Flink CDC 的现代数据栈 Flink CDC 是基于数据库的日志的 CDC 技术，实现了全增量一体化读取的数据集成框架。Flink CDC 技术可以高效实现海量数据的实时集成，通过 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以实现高效的数据集成。 Flink CDC 2.3 版本的特点包括： * MySQL、Oracle、MongoDB、TiDB、OceanBase 等多种数据源支持 * 全增量数据读取和实时一致性快照 * 高效实现海量数据的实时集成 * 支持 Db2 数据源 * MySQL CDC 性能优化和兼容 Flink 1.15 & 1.16 * OceanBase 支持全部数据类型 * Oracle 支持增量快照 * MongoDB 支持增量快照 * 提供中文文档支持 Flink CDC 的核心特性包括： *增量数据实时一致性快照 *全量数据实时一致性快照 *自动获取服务器时区 *全字符集支持 *支持宽容的默认值 *边界条件下的数据一致性问题修复 *支持异步分片 *支持自定义切分列 *分片过程支持 checkpoint *JM 内存优化 *TM 全量阶段内存优化 *binlog 读取性能优化 基于 Flink CDC 的现代数据栈（Modern Data Stack）是指使用 Flink CDC 等技术或工具的组合，来构建现代化的数据栈。现代数据栈基于云上构建，具备传统数据栈很难具备的弹性和扩容优势，现代数据栈层次清晰有利于垂直领域的工具形成标准的 SaaS 服务，而 SaaS 服务极大地降低了运维和管理成本。 现代数据栈的组件包括： * Flink CDC * TiDB * ClickHouse * Iceberg * Hudi * Hologres 这些组件可以让数据工程师和分析师能够提取和清洗数据，将原始数据转换为有价值的数据并存储，然后根据需要进行分析。 Flink CDC 在现代数据栈中的作用是作为数据采集和转换的工具，通过 Flink CDC，可以高效实现海量数据的实时集成，并将数据传输到下游的存储组件中。 Flink CDC 是一个强大的数据集成框架，可以高效实现海量数据的实时集成，并且可以与其他组件组合，构建现代化的数据栈。