CDC for Kafka增删改数据的获取.docx

**CDC for Kafka 知识点详解** 变更数据捕获（Change Data Capture，简称 CDC）是一种技术，用于跟踪和记录数据库中的数据变化，以便在其他系统或应用程序中实时反映这些变化。在本例中，我们关注的是 CDC 在 Kafka 中的应用，Kafka 是一个流行的分布式流处理平台，常用于构建实时数据管道。 ### 1. 数据表结构和CDC配置 在测试环境中，我们有一个名为 `a2` 的数据表，其结构包含两个字段：`id` 和 `c2`。`id` 字段是主键，类型为整数，`c2` 字段是长度为10的字符型。CDC 预定作业的 mapping 配置用于定义如何捕获和处理 `a2` 表中的增删改操作。 ### 2. 数据操作与Kafka输出 #### 2.1 插入操作（Insert） 当执行 `INSERT` 操作时，新数据行被创建并写入 Kafka 主题。例如，向 `a2` 表中插入一条记录 `(4, 'insert')`，Kafka 输出将包含一条消息，其中 `ID` 字段的值为4，`C2` 字段的值为 'insert'。 #### 2.2 非主键更新操作（Update non key） 对非主键字段进行 `UPDATE` 时，如将 `c2` 更新为 'update'，Kafka 输出同样会记录这次更改，包含更新后的所有字段值。 #### 2.3 主键更新操作（Update a key） 对于主键的更新，如将 `id` 从2更新为10，Kafka 将输出两条消息。第一条表示旧记录（`ID`: 2，其他字段为空或NULL），第二条表示新记录（`ID`: 10，包含所有字段的新值）。 #### 2.4 删除操作（Delete） 执行 `DELETE` 操作时，Kafka 输出一条包含被删除记录（`ID`: 9，其他字段为空或NULL）的消息，表示该行已被移除。 ### 3. 数据记录输出格式调整 默认情况下，只有变动的字段才会在输出中携带数据值。如果希望所有字段在每次操作后都包含数据值，可以通过调整 CDC 预定作业的 mapping 配置，将所有字段标记为 KEY。这样，无论插入、更新还是删除操作，输出都将包含所有字段的完整信息。 ### 4. 改变配置后的效果 - **Insert**: 插入操作后，Kafka 输出的每条消息都包含所有字段及其对应的值。 - **Update non key**: 因为主键字段已标记为 KEY，所以即使是非主键字段的更新，输出也会包含所有字段。 - **Update a key**: 主键更新后，旧记录和新记录都将携带所有字段的数据值。 - **Delete**: 删除操作后，Kafka 输出的被删除记录也会包含所有字段，尽管值可能为空或NULL。 通过这样的配置，可以确保在 Kafka 中捕获的 CDC 事件始终包含完整且一致的数据，这对于实现数据同步、数据分析和其他依赖于实时数据流的业务场景至关重要。 总结来说，CDC for Kafka 提供了一种高效且可靠的方式来监控和传递数据库中的数据变化，使得数据的实时处理和分析成为可能。通过对数据表的结构定义、CDC 配置以及各种数据操作的理解，我们可以更好地利用这种技术来优化数据流处理流程。