没有合适的资源?快使用搜索试试~ 我知道了~
synch:将其他数据库中的数据同步到ClickHouse(集群)
共53个文件
py:32个
yml:5个
md:3个
需积分: 50 15 下载量 148 浏览量
2021-02-02
17:32:00
上传
评论
收藏 300KB ZIP 举报
温馨提示
同步 介绍 将其他数据库中的数据同步到ClickHouse,当前支持postgres和mysql,并支持完整和增量ETL。 产品特点 完整数据etl和实时增量etl。 支持DDL和DML同步,当前支持DDL的add column , drop column和change column ,还完全支持DML。 电子邮件错误报告。 支持kafka和redis作为代理。 多个源数据库同时同步到ClickHouse。 支持ClickHouse MergeTree , CollapsingMergeTree , VersionedCollapsingMergeTree , ReplacingMergeTree 。 支持ClickHouse集群。 要求 Python> = 3.7 ,缓存mysql binlog文件和位置,并作为代理,也支持redis集群。 ,如果您使用kafka作为代理,则需要。 ,如果您使用postgres并设置auto_full_etl = true ,则需要执行此命令,或者执行exec synch etl命令。 如果在配置中设置dsn ,则,错误报告
资源推荐
资源详情
资源评论
收起资源包目录
synch-master.zip (53个子文件)
synch-master
poetry.lock 41KB
pyproject.toml 1KB
images
alipay.jpeg 75KB
wechatpay.jpeg 76KB
synch.png 152KB
jetbrains.svg 5KB
README-zh.md 7KB
.github
workflows
pypi.yml 489B
ci.yml 537B
conftest.py 2KB
Dockerfile 210B
tests
test_postgres.py 433B
test_sql_convent.py 3KB
__init__.py 0B
test_mysql.py 508B
test_writer.py 2KB
docker-compose.yml 921B
test_etl.py 1024B
test_settings.py 274B
test_mysqlparser.py 2KB
LICENSE 11KB
setup.cfg 67B
docker-compose-kafka.yml 1KB
docker-compose.yml 488B
.gitignore 2KB
CHANGELOG.md 2KB
Makefile 940B
.dockerignore 2KB
synch.yaml 4KB
README.md 8KB
synch
common.py 2KB
redis.py 2KB
cli.py 4KB
enums.py 407B
__init__.py 0B
settings.py 3KB
factory.py 6KB
replication
etl.py 3KB
__init__.py 0B
continuous.py 6KB
convert.py 4KB
reader
mysql.py 9KB
__init__.py 3KB
postgres.py 6KB
writer
collapsing_merge_tree.py 2KB
merge_tree.py 3KB
replacing_merge_tree.py 2KB
versioned_collapsing_merge_tree.py 1KB
__init__.py 4KB
broker
kafka.py 3KB
redis.py 2KB
__init__.py 673B
exceptions.py 132B
共 53 条
- 1
资源评论
仰光的瑞哥
- 粉丝: 18
- 资源: 4623
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功