# postgres数据库实时日志采集
# 原理
基于postgresql 逻辑复制功能 通过将wal日志解析成sql 发送至kafka ,最终在consumer端进行wal 日志的sql 转换 实现pg实例到不同异构数据源的一个实时同步
# 架构图
[Architecture](./src/main/resources/architecture.png)
# 配置文件config.properties说明
- dingTalk_token:预警钉钉 token
- decoding :postgres slot 编码默认使用test_decoding
- pg_url : postgres jdbc 连接串
- pg_user :postgres 高级账号
- pg_password : postgres 密码
- slot_name : postgres 数据库 slot 名称
- lsn_file : 保存postgres lsn 文件路径
- kafka_host : cdc 采集到postgres 日志发送到 kafka 的 broker 地址
- kafka_topic : 发送到 Kafka 的 topic 名称
- jks_path : kafka 认证jks文件 使用kafka默认连接则不需要该参数
# 常驻后台启动
``` shell
nohup java -Xms8g -Xmx8g -jar -Dfile.encoding=utf-8 postgresql-cdc.jar -c producer.properties -t tables >> /dev/null 2>&1 &
```
# pg数据库相关配置
- 检查 [wal_level](https://www.postgresql.org/docs/14/sql-altersystem.html) 的值是否是 :logic 如果不是需要改为 logic 注意修改后需重启实例
- 检查是否有slot 查看命令:
```sql
select * from pg_replication_slots ;
```
如果没有需要创建 创建命令:
```sql
select * from pg_create_logical_replication_slot('regression_slot', 'test_decoding');
```
没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
收起资源包目录
实时采集postgres数据库日志.zip (22个子文件)
postgres-cdc-master
pom.xml 6KB
src
main
resources
logback.xml 717B
architecture.png 492KB
config.properties 196B
java
bigdata
cdc
utils
IdPartation.java 688B
FileOperator.java 2KB
Notify.java 1KB
KafkaConfig.java 2KB
ParseEvent.java 4KB
ExceptionUtil.java 282B
model
Event.java 2KB
EventType.java 954B
ColumnData.java 906B
constants
Constants.java 1KB
server
CDCServer.java 9KB
Bootstrap.java 7KB
config
PgConfig.java 833B
ZkConfig.java 250B
JdbcConfig.java 2KB
SubscribeConfig.java 834B
ConfigDef.java 319B
README.md 1KB
共 22 条
- 1
资源评论
马coder
- 粉丝: 1202
- 资源: 6602
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- levigo-jbig2-imageio-6.13
- 基于ArkTS的校园通app.zip
- 汉诺塔python实现.zip
- 【Springboot开发】资源springboot-plus-v2.7.18.zip
- 编译原理 C语言编译器(包括词法/语法/语义分析器等)
- 电子设计项目毕业设计及产品设计资料开关电源论文资料
- 模型预测控制(MPC)基准测试问题的开放集合Open collection of model predictive contro
- 基于用户的协同过滤算法实现的商品推荐系统
- TI杯大奖赛本科组+研究生组论文+源代码+PCB自学习式走迷宫智能小车
- TI杯大奖赛本科组+研究生组论文+源代码+PCB专业组-仪器仪表类-兰州大学-基于MSP430的心电监控系统
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功