• ETL-30-apache SeaTunnel 实战 Checkpoint expired before completing. Please increase checkpoint timeout in the seatunnel.yaml
  场景 seatunnel 版本: v2.3.3 如果 batch 从数据库拉取一个比较大的数据。 但是执行的过程中，会遇到异常： 2023-10-26 15:27:04,904 ERROR org.apache.seatunnel.engine.server.checkpoint.CheckpointCoordinator - trigger checkpoint failed or...
  2024-01-05 13:01:55 | ETL
• ETL-29-apache SeaTunnel 实战一些常用的任务命令 command
  常用命令 help /home/dh/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/bin/seatunnel.sh --help 如下： Usage: seatunnel.sh [options] Options: --async Run the job a...
  2024-01-05 13:01:55 | ETL
• ETL-28-apache SeaTunnel 实战 HTTP checkpoint 有什么作用？
  官方 https://seatunnel.apache.org/docs/2.3.1/seatunnel-engine/checkpoint-storage/#introduction 检查点是一种容错恢复机制。此机制确保当程序运行时，即使突然遇到异常，也能够自我恢复。 在上一篇文章中，我们介绍了如何下载安装部署SeaTunnel Zeta服务（3分钟部署SeaTunnel Z...
  2024-01-05 13:01:55 | ETL
• ETL-26-apache SeaTunnel 实战 HTTP streaming 调用测试
  业务需求 定时执行 http 请求任务？ source 可以根据 http source，内置了一些工具，我们只测试最基本的，如果有特别的需求，可以自己定义。 实际测试笔记 引入依赖包 <!-- 引入基础的 http，看的出来，可以自己自定义 http--> <dependency> <groupId>org.apache...
  2024-01-05 13:01:55 | ETL
• ETL-26-apache SeaTunnel 实战 seaTunnel 如何实现任务的定时调度？增量获取数据？
  业务需求 如果想 5min 触发一次调度，怎么实现呢？ v0-参数替换支持 批处理方式新增参数替换功能 Waterdrop 中如何在配置中指定变量，之后在运行时，动态指定变量的值？ Waterdrop 从v1.2.4开始，支持在配置中指定变量，此功能常用于做定时或非定时的离线处理时，替换时间、日期等变量，用法如下： 在配置中，配置变量名称，比如: ... filte...
  2024-01-05 13:01:55 | ETL
• ETL-25-apache SeaTunnel 实战 seaTunnel 任务到底是如何执行的？
  命令行 最基本的，可以直接 shell 执行 ./bin/seatunnel.sh -c config/v2.batch.config.template -m local 本地方法 在写单测的时候，基于方法执行。 个人理解应该是封装了 shell 命令： public static void main(String[] args) throws FileNotF...
  2024-01-05 13:01:55 | ETL
• ETL-25-apache SeaTunnel 实战 source mysql CDC 到 sink console
  拓展阅读 ETL-10-apache SeaTunnel Connector v2 source mysql cdc mysql binlog 说明 mysql cdc source 生成的信息还算比较复杂，开始还以为需要自己写各种 jdbc sink 的语句。 结果发现，jdbc 提供了一个自动生成 sink sql 的语句，非常的方便。 这里主要记录一下 cdc 对应的 se...
  2024-01-05 13:01:55 | ETL
• ETL-25-apache SeaTunnel 实战 source mysql CDC 到 sink jdbc
  拓展阅读 ETL-10-apache SeaTunnel Connector v2 source mysql cdc mysql binlog 说明 mysql cdc source 生成的信息还算比较复杂，开始还以为需要自己写各种 jdbc sink 的语句。 结果发现，jdbc 提供了一个自动生成 sink sql 的语句，非常的方便。 本文主要来验证一下。 准备 ...
  2024-01-05 13:01:55 | ETL