• ETL-33-apache SeaTunnel 实战 14 执行的任务比较慢遇到异常 java.util.concurrent.CompletionException java.lang.NullPointerException
  参考资料 执行的任务比较长，checkpoint 的配置在文件： 异常 大概类似于 [Bug] [SeaTunnel Engine] NullPointerException when send data to doris 发生了什么事情： 我想将一亿条数据发送到 Doris，但任务总是因为 NullPointerException 而失败。我尝试了三次。 Doris ...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 13 source http 实战例子
  http source 场景：我们希望定时调用一个 http 请求 实战 配置 我们简单点，直接以百度为例子。 # Defining the runtime environment env { # You can set flink configuration here parallelism = 1 job.mode = "STREAMING" checkpoin...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 12 自定义 transform 转换插件
  模块整体目录 seatunnel-transforms-v2 转换模块整体目录如下： ├─src │ ├─main │ │ └─java │ │ └─org │ │ └─apache │ │ └─seatunnel │ │ └─transform │ │ ...
  2024-01-05 13:01:55 | ETL
• ETL-31-apache SeaTunnel 实战 jdbc 并发执行 partition_column 无效？如何批量写入优化？seaTunnel checkpoint timeout 如何解决？
  场景 seatunnel 版本: v2.3.3 从 jdbc batch 模式同步数据，可能数据量会比较大。 看了下默认是单线程执行的，如何并行执行呢？ jdbc 选项 jdbc 的选项： 名称 类型 必需 默认值 描述 url 字符串 ...
  2024-01-05 13:01:55 | ETL
• ETL-30-apache SeaTunnel 实战 Checkpoint expired before completing. Please increase checkpoint timeout in the seatunnel.yaml
  场景 seatunnel 版本: v2.3.3 如果 batch 从数据库拉取一个比较大的数据。 但是执行的过程中，会遇到异常： 2023-10-26 15:27:04,904 ERROR org.apache.seatunnel.engine.server.checkpoint.CheckpointCoordinator - trigger checkpoint failed or...
  2024-01-05 13:01:55 | ETL
• ETL-29-apache SeaTunnel 实战一些常用的任务命令 command
  常用命令 help /home/dh/bigdata/seatunnel-2.3.3/backend/apache-seatunnel-2.3.3/bin/seatunnel.sh --help 如下： Usage: seatunnel.sh [options] Options: --async Run the job a...
  2024-01-05 13:01:55 | ETL
• ETL-28-apache SeaTunnel 实战 HTTP checkpoint 有什么作用？
  官方 https://seatunnel.apache.org/docs/2.3.1/seatunnel-engine/checkpoint-storage/#introduction 检查点是一种容错恢复机制。此机制确保当程序运行时，即使突然遇到异常，也能够自我恢复。 在上一篇文章中，我们介绍了如何下载安装部署SeaTunnel Zeta服务（3分钟部署SeaTunnel Z...
  2024-01-05 13:01:55 | ETL
• ETL-26-apache SeaTunnel 实战 HTTP streaming 调用测试
  业务需求 定时执行 http 请求任务？ source 可以根据 http source，内置了一些工具，我们只测试最基本的，如果有特别的需求，可以自己定义。 实际测试笔记 引入依赖包 <!-- 引入基础的 http，看的出来，可以自己自定义 http--> <dependency> <groupId>org.apache...
  2024-01-05 13:01:55 | ETL