• ETL-40-apache SeaTunnel 整体设计-01-全面概览【转载】
  说明 选取几篇文章，学习一下别人的思想。 原始文章 议题简介 介绍Apache SeaTunnel工具 Apache SeaTunnel的一些核心设计架构 Apache SeaTunnel自研引擎Zeta简介 Apache SeaTunnel Web功能 SeaTunnel介绍 首先介绍一...
  2024-01-05 13:01:55 | ETL
• ETL-34-apache SeaTunnel 实战 16-mysql 到 neo4j 实战批量模式
  现象 希望实现 mysql 到 neo4j 的批量模式. 版本 v2.3.4 配置文件 env { execution.parallelism = 1 } source { # 使用 MySQL 作为数据源 Jdbc { url = "jdbc:mysql://localhost:3306/your_database" user = "your_user...
  2024-01-05 13:01:55 | ETL
• ETL-34-apache SeaTunnel 实战 15 多次执行任务导致系统 OOM
  现象 以前 seatunnel 运行比较正常，但是后来同事一直在测试，不停的启停任务，发现启动任务时报错 java.lang.OutOfMemoryError: Metaspace 采用的是 3 个服务节点，集群部署。 启用了 checkpoint 原因分析 这个一看应该是 jvm 的 metaspace 空间分配太小了。 客户端 jvm 设置方式 所以开始的时候，以为客户...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 14 执行的任务比较慢遇到异常 java.util.concurrent.CompletionException java.lang.NullPointerException
  参考资料 执行的任务比较长，checkpoint 的配置在文件： 异常 大概类似于 [Bug] [SeaTunnel Engine] NullPointerException when send data to doris 发生了什么事情： 我想将一亿条数据发送到 Doris，但任务总是因为 NullPointerException 而失败。我尝试了三次。 Doris ...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 13 source http 实战例子
  http source 场景：我们希望定时调用一个 http 请求 实战 配置 我们简单点，直接以百度为例子。 # Defining the runtime environment env { # You can set flink configuration here parallelism = 1 job.mode = "STREAMING" checkpoin...
  2024-01-05 13:01:55 | ETL
• ETL-33-apache SeaTunnel 实战 12 自定义 transform 转换插件
  模块整体目录 seatunnel-transforms-v2 转换模块整体目录如下： ├─src │ ├─main │ │ └─java │ │ └─org │ │ └─apache │ │ └─seatunnel │ │ └─transform │ │ ...
  2024-01-05 13:01:55 | ETL
• ETL-31-apache SeaTunnel 实战 jdbc 并发执行 partition_column 无效？如何批量写入优化？seaTunnel checkpoint timeout 如何解决？
  场景 seatunnel 版本: v2.3.3 从 jdbc batch 模式同步数据，可能数据量会比较大。 看了下默认是单线程执行的，如何并行执行呢？ jdbc 选项 jdbc 的选项： 名称 类型 必需 默认值 描述 url 字符串 ...
  2024-01-05 13:01:55 | ETL
• ETL-30-apache SeaTunnel 实战 Checkpoint expired before completing. Please increase checkpoint timeout in the seatunnel.yaml
  场景 seatunnel 版本: v2.3.3 如果 batch 从数据库拉取一个比较大的数据。 但是执行的过程中，会遇到异常： 2023-10-26 15:27:04,904 ERROR org.apache.seatunnel.engine.server.checkpoint.CheckpointCoordinator - trigger checkpoint failed or...
  2024-01-05 13:01:55 | ETL