• ETL-40-apache SeaTunnel 源码分析 source-code SeaTunnel.run(clientCommandArgs.buildCommand());
  业务需求 测试的时候，执行了本地的一个单元测试，但是任务是如何执行的？ 和 web 调用异曲同工之妙。 source 测试类 import org.apache.seatunnel.core.starter.SeaTunnel; import org.apache.seatunnel.core.starter.enums.MasterType; import org.apache....
  2024-01-05 13:01:55 | ETL
• ETL-40-apache SeaTunnel cdc 设计
  引言 在快速发展的数据驱动时代，数据的实时、准确同步成为了企业信息系统不可或缺的一部分。随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。 Apache SeaTunnel作为一个先进的数据集成开发平台，提供了构建高效CDC数据同步管道的可能性。本文将深入探讨利用Apache SeaTunnel构建CDC数据同步管道的过程，揭示其背后的关键...
  2024-01-05 13:01:55 | ETL
• ETL-40-apache SeaTunnel 整体设计-01-全面概览【转载】
  说明 选取几篇文章，学习一下别人的思想。 原始文章 议题简介 介绍Apache SeaTunnel工具 Apache SeaTunnel的一些核心设计架构 Apache SeaTunnel自研引擎Zeta简介 Apache SeaTunnel Web功能 SeaTunnel介绍 首先介绍一...
  2024-01-05 13:01:55 | ETL
• ETL-34-apache SeaTunnel 实战 15 多次执行任务导致系统 OOM
  现象 以前 seatunnel 运行比较正常，但是后来同事一直在测试，不停的启停任务，发现启动任务时报错 java.lang.OutOfMemoryError: Metaspace 采用的是 3 个服务节点，集群部署。 启用了 checkpoint 原因分析 这个一看应该是 jvm 的 metaspace 空间分配太小了。 客户端 jvm 设置方式 所以开始的时候，以为客户...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 14 执行的任务比较慢遇到异常 java.util.concurrent.CompletionException java.lang.NullPointerException
  参考资料 执行的任务比较长，checkpoint 的配置在文件： 异常 大概类似于 [Bug] [SeaTunnel Engine] NullPointerException when send data to doris 发生了什么事情： 我想将一亿条数据发送到 Doris，但任务总是因为 NullPointerException 而失败。我尝试了三次。 Doris ...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 13 source http 实战例子
  http source 场景：我们希望定时调用一个 http 请求 实战 配置 我们简单点，直接以百度为例子。 # Defining the runtime environment env { # You can set flink configuration here parallelism = 1 job.mode = "STREAMING" checkpoin...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 12 自定义 transform 转换插件
  模块整体目录 seatunnel-transforms-v2 转换模块整体目录如下： ├─src │ ├─main │ │ └─java │ │ └─org │ │ └─apache │ │ └─seatunnel │ │ └─transform │ │ ...
  2024-01-05 13:01:55 | ETL
• ETL-31-apache SeaTunnel 实战 jdbc 并发执行 partition_column 无效？如何批量写入优化？seaTunnel checkpoint timeout 如何解决？
  场景 seatunnel 版本: v2.3.3 从 jdbc batch 模式同步数据，可能数据量会比较大。 看了下默认是单线程执行的，如何并行执行呢？ jdbc 选项 jdbc 的选项： 名称 类型 必需 默认值 描述 url 字符串 ...
  2024-01-05 13:01:55 | ETL