【免费】canal-deployer-1.1.8_windows下canal1.1.8集成mysql资源-CSDN文库

共93个文件

jar：73个

xml：11个

sh：3个

需积分: 0 54 浏览量更新于2024-02-28 收藏 102.96MB GZ 举报

《Canal Deployer 1.1.8：MySQL数据同步利器详解》 Canal Deployer 是阿里巴巴开源的一个高效、稳定且轻量级的数据库增量日志订阅与消费组件，主要用于实现MySQL的数据实时同步到各种数据存储或计算系统中。在这个版本1.1.8中，我们来深入探讨它的重要功能和应用场景。一、Canal Deployer核心概念 1. Canal Server：Canal的核心服务，负责接收MySQL的binlog事件并进行解析，将解析后的事件数据推送给订阅者。 2. Canal Client：客户端，也称为消费者，可以订阅Canal Server推送的数据库变更事件，通常用于数据同步或数据分析。 3. Deployer：部署器，Canal的管理组件，负责管理和调度Canal Server实例，以及相关的配置管理。二、Canal Deployer 1.1.8组件分析 1. **lib**：库文件目录，包含了运行Canal Deployer所需的各种依赖库，包括解析binlog、网络通信、序列化等关键组件的JAR包。 2. **bin**：可执行脚本目录，包含启动、停止Canal Server和Deployer的命令，便于用户进行服务的运维操作。 3. **plugin**：插件目录，Canal支持扩展插件，例如支持不同协议的适配器、数据转换等，用户可以根据需求自定义开发或引入第三方插件。 4. **logs**：日志文件目录，记录Canal运行时的各类信息，对于问题排查和性能优化非常有帮助。 5. **conf**：配置文件目录，存放Canal的配置文件，包括服务器配置、数据源配置、消费者配置等，是Canal工作的重要依据。三、Canal Deployer 1.1.8的使用步骤 1. 配置Canal Server：根据MySQL数据库的实际情况，配置Canal Server的连接信息，包括数据库地址、端口、用户名、密码等。 2. 配置数据订阅：定义需要监听的数据库和表，以及相应的过滤规则。 3. 启动Canal Deployer：执行bin目录下的启动脚本，启动Canal Deployer服务。 4. 配置Canal Client：根据实际需求配置消费者，如数据同步到Elasticsearch、Kafka、RabbitMQ或其他系统。 5. 运行和监控：启动Canal Client，开始接收和处理Canal Server推送的变更事件。同时，通过logs中的日志文件监控服务状态。四、Canal优势及应用场景 1. 实时性高：Canal能够实时捕获并解析MySQL的binlog，保证数据同步的即时性。 2. 扩展性强：支持多种数据消费模式和多种目标系统，易于集成到现有的数据架构中。 3. 稳定可靠：经过阿里巴巴大量业务的检验，具备高可用性和稳定性。常见应用场景包括但不限于： - 数据库实时备份：将MySQL的数据实时同步到另一台MySQL或分布式存储系统。 - 实时数据仓库：将数据库变更实时同步到大数据平台，支持实时分析。 - 数据一致性检查：通过比对源数据库和目标数据库的数据，确保数据迁移的准确性。总结，Canal Deployer 1.1.8作为MySQL数据同步的重要工具，通过其丰富的功能和灵活的配置，为开发者提供了强大的数据实时同步能力，是构建高效数据流动系统的基石。在实际使用中，根据具体需求对各个组件进行配置和优化，能充分发挥其潜力，实现数据价值的最大化。

收起资源包目录

canal.deployer-1.1.8-SNAPSHOT.tar.gz （93个子文件）

lib

netty-3.2.10.Final.jar 812KB

commons-io-2.4.jar 181KB

j2objc-annotations-1.1.jar 9KB

audience-annotations-0.5.0.jar 20KB

mybatis-spring-2.0.4.jar 67KB

spring-jcl-5.3.9.jar 23KB

canal.sink-1.1.8-SNAPSHOT.jar 17KB

spring-context-5.3.9.jar 1.19MB

joda-time-2.9.4.jar 615KB

canal.prometheus-1.1.8-SNAPSHOT.jar 43KB

zookeeper-jute-3.5.6.jar 244KB

aviator-2.2.1.jar 433KB

protobuf-java-3.6.1.jar 1.36MB

h2-2.1.210.jar 2.41MB

spring-orm-5.3.9.jar 196KB

canal.filter-1.1.8-SNAPSHOT.jar 11KB

spring-jdbc-5.3.9.jar 408KB

jctools-core-2.1.2.jar 246KB

zstd-jni-1.5.2-5.jar 6.01MB

canal.store-1.1.8-SNAPSHOT.jar 24KB

commons-compress-1.22.jar 1015KB

canal.instance.spring-1.1.8-SNAPSHOT.jar 10KB

commons-lang3-3.7.jar 488KB

canal.instance.manager-1.1.8-SNAPSHOT.jar 45KB

canal.parse.dbsync-1.1.8-SNAPSHOT.jar 119KB

spring-core-5.3.9.jar 1.39MB

commons-collections-3.2.2.jar 575KB

netty-all-4.1.68.Final.jar 4.31MB

simpleclient_common-0.4.0.jar 6KB

canal.parse-1.1.8-SNAPSHOT.jar 222KB

spring-aop-5.3.9.jar 366KB

mybatis-3.5.6.jar 1.66MB

oro-2.0.8.jar 64KB

zkclient-0.10.jar 73KB

simpleclient_hotspot-0.4.0.jar 17KB

httpcore-4.4.13.jar 321KB

canal.server-1.1.8-SNAPSHOT.jar 65KB

connector.core-1.1.8-SNAPSHOT.jar 56KB

spring-tx-5.3.9.jar 319KB

canal.meta-1.1.8-SNAPSHOT.jar 28KB

jsr305-3.0.2.jar 19KB

logback-classic-1.2.9.jar 228KB

commons-lang-2.6.jar 278KB

jcl-over-slf4j-1.7.12.jar 16KB

commons-codec-1.9.jar 258KB

slf4j-api-1.7.12.jar 31KB

spring-expression-5.3.9.jar 276KB

mysql-connector-java-5.1.48.jar 983KB

httpclient-4.5.13.jar 762KB

canal.instance.core-1.1.8-SNAPSHOT.jar 7KB

simpleclient_pushgateway-0.4.0.jar 6KB

disruptor-3.4.2.jar 81KB

javax.annotation-api-1.3.2.jar 26KB

fastjson2-2.0.31.jar 1.79MB

druid-1.2.21.jar 3.78MB

simpleclient_httpserver-0.4.0.jar 9KB

canal.parse.driver-1.1.8-SNAPSHOT.jar 76KB

logback-core-1.2.9.jar 444KB

commons-logging-1.2.jar 60KB

zookeeper-3.5.6.jar 962KB

canal.deployer-1.1.8-SNAPSHOT.jar 47KB

spring-beans-5.3.9.jar 680KB

canal.protocol-1.1.8-SNAPSHOT.jar 393KB

guava-22.0.jar 2.46MB

canal.common-1.1.8-SNAPSHOT.jar 44KB

error_prone_annotations-2.0.18.jar 12KB

simpleclient-0.4.0.jar 58KB

animal-sniffer-annotations-1.14.jar 3KB

commons-beanutils-1.9.4.jar 241KB

bin

startup.sh 4KB

restart.sh 226B

stop.sh 1KB

startup.bat 1KB

plugin

connector.kafka-1.1.8-SNAPSHOT-jar-with-dependencies.jar 11.7MB

connector.rabbitmq-1.1.8-SNAPSHOT-jar-with-dependencies.jar 626KB

connector.rocketmq-1.1.8-SNAPSHOT-jar-with-dependencies.jar 10.42MB

connector.pulsarmq-1.1.8-SNAPSHOT-jar-with-dependencies.jar 50.87MB

logs

conf

metrics

Canal_instances_tmpl.json 31KB

logback.xml 4KB

spring

tsdb

sql-map

sqlmap_history.xml 2KB

sqlmap-config.xml 636B

sqlmap_snapshot.xml 2KB

sql

create_table.sql 2KB

h2-tsdb.xml 3KB

mysql-tsdb.xml 4KB

base-instance.xml 2KB

group-instance.xml 15KB

default-instance.xml 11KB

memory-instance.xml 10KB

file-instance.xml 10KB

canal.properties 7KB

canal_local.properties 279B

example

instance.properties 2KB

资源推荐

资源预览

资源评论

CREATE TABLE IF NOT EXISTS `meta_snapshot` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键', `gmt_create` datetime NOT NULL COMMENT '创建时间', `gmt_modified` datetime NOT NULL COMMENT '修改时间', `destination` varchar(128) DEFAULT NULL COMMENT '通道名称', `binlog_file` varchar(64) DEFAULT NULL COMMENT 'binlog文件名', `binlog_offest` bigint(20) DEFAULT NULL COMMENT 'binlog偏移量', `binlog_master_id` varchar(64) DEFAULT NULL COMMENT 'binlog节点id', `binlog_timestamp` bigint(20) DEFAULT NULL COMMENT 'binlog应用的时间戳', `data` longtext DEFAULT NULL COMMENT '表结构数据', `extra` text DEFAULT NULL COMMENT '额外的扩展信息', PRIMARY KEY (`id`), UNIQUE KEY binlog_file_offest(`destination`,`binlog_master_id`,`binlog_file`,`binlog_offest`), KEY `destination` (`destination`), KEY `destination_timestamp` (`destination`,`binlog_timestamp`), KEY `gmt_modified` (`gmt_modified`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='表结构记录表快照表'; CREATE TABLE IF NOT EXISTS `meta_history` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键', `gmt_create` datetime NOT NULL COMMENT '创建时间', `gmt_modified` datetime NOT NULL COMMENT '修改时间', `destination` varchar(128) DEFAULT NULL COMMENT '通道名称', `binlog_file` varchar(64) DEFAULT NULL COMMENT 'binlog文件名', `binlog_offest` bigint(20) DEFAULT NULL COMMENT 'binlog偏移量', `binlog_master_id` varchar(64) DEFAULT NULL COMMENT 'binlog节点id', `binlog_timestamp` bigint(20) DEFAULT NULL COMMENT 'binlog应用的时间戳', `use_schema` varchar(1024) DEFAULT NULL COMMENT '执行sql时对应的schema', `sql_schema` varchar(1024) DEFAULT NULL COMMENT '对应的schema', `sql_table` varchar(1024) DEFAULT NULL COMMENT '对应的table', `sql_text` longtext DEFAULT NULL COMMENT '执行的sql', `sql_type` varchar(256) DEFAULT NULL COMMENT 'sql类型', `extra` text DEFAULT NULL COMMENT '额外的扩展信息', PRIMARY KEY (`id`), UNIQUE KEY binlog_file_offest(`destination`,`binlog_master_id`,`binlog_file`,`binlog_offest`), KEY `destination` (`destination`), KEY `destination_timestamp` (`destination`,`binlog_timestamp`), KEY `gmt_modified` (`gmt_modified`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='表结构变化明细表';