ETL-25-apache SeaTunnel 实战 source mysql CDC 到 sink jdbc Schema Evolution 表结构变更同步
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
说明
v2.3.3 支持 Schema evolution
关于 CDC 方面的重要更新,是在架构层面支持了 Schema evolution(DDL 变更同步),这是从架构层面对 DDL 变更事件进行了抽象,包括 Source 和 Sin...
2024-01-05 13:01:55 |
ETL
ETL-25-apache SeaTunnel 实战 source mysql CDC 到 sink jdbc id 增加
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
说明
mysql cdc source 生成的信息还算比较复杂,开始还以为需要自己写各种 jdbc sink 的语句。
结果发现,jdbc 提供了一个自动生成 sink sql 的语句,非常的方便。
本文主要来验证一下。
准备
...
2024-01-05 13:01:55 |
ETL
ETL-25-apache SeaTunnel 实战 source mysql CDC 到 sink jdbc id 增加 transfer+多张表
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
说明
mysql cdc source 生成的信息还算比较复杂,开始还以为需要自己写各种 jdbc sink 的语句。
结果发现,jdbc 提供了一个自动生成 sink sql 的语句,非常的方便。
本文主要来验证一下,多张表如何处理?
...
2024-01-05 13:01:55 |
ETL
ETL-25-apache SeaTunnel 实战 mysql CDC 到 neo4j multi 自定义插件
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
说明
mysql cdc 看官方的推荐,应该是让通过 json 发送到 kafka。
不过这样也比较麻烦,如果只是简单的 cdc 监听处理,那发送到 kafka,然后再监听 kafka 处理,绕了一个大弯子。
有没有办法,直接监听 CDC...
2024-01-05 13:01:55 |
ETL
ETL-25-apache SeaTunnel 实战 mysql CDC json 到 neo4j 自定义插件,包含外键
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
说明
mysql cdc json 格式,发送到 neo4j 持久化。
同时支持外键。
准备
mysql binlog windows10 环境的开启和解析笔记
database mysql install on win...
2024-01-05 13:01:55 |
ETL
ETL-25-apache SeaTunnel 实战 mysql CDC 超时报错 mysql autoReconnect=true 自动重连的问题
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
说明
mysql cdc json 格式,发送到 neo4j 持久化。
但是执行一段时间以后,会报错,服务直接挂掉。
https://github.com/apache/seatunnel/issues/5694
https://git...
2024-01-05 13:01:55 |
ETL
ETL-25-apache SeaTunnel 实战 mysql CDC default neo4j 自定义插件
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
说明
mysql cdc 看官方的推荐,应该是让通过 json 发送到 kafka。
不过这样也比较麻烦,如果只是简单的 cdc 监听处理,那发送到 kafka,然后再监听 kafka 处理,绕了一个大弯子。
有没有办法,直接监听 CDC...
2024-01-05 13:01:55 |
ETL
ETL-25-apache SeaTunnel 实战 mysql CDC default to file 指定多表的 BUG?
拓展阅读
ETL-10-apache SeaTunnel Connector v2 source mysql cdc
mysql binlog
BUGS
Apache seatunnel version:v2.3.3
Mysql version: 5.7.31-log
BUG: mysql cdc table-names config one table, works fine....
2024-01-05 13:01:55 |
ETL