-
ETL-40-apache SeaTunnel 源码分析 source-code SeaTunnel.run(clientCommandArgs.buildCommand());
业务需求 测试的时候，执行了本地的一个单元测试，但是任务是如何执行的？ 和 web 调用异曲同工之妙。 source 测试类 import org.apache.seatunnel.core.starter.SeaTunnel; import org.apache.seatunnel.core.starter.enums.MasterType; import org.apache....2024-01-05 13:01:55 | ETL
-
ETL-40-apache SeaTunnel cdc 设计
引言 在快速发展的数据驱动时代，数据的实时、准确同步成为了企业信息系统不可或缺的一部分。随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。 Apache SeaTunnel作为一个先进的数据集成开发平台，提供了构建高效CDC数据同步管道的可能性。本文将深入探讨利用Apache SeaTunnel构建CDC数据同步管道的过程，揭示其背后的关键...2024-01-05 13:01:55 | ETL
-
ETL-40-apache SeaTunnel 整体设计-01-全面概览【转载】
说明 选取几篇文章，学习一下别人的思想。 原始文章 议题简介 介绍Apache SeaTunnel工具 Apache SeaTunnel的一些核心设计架构 Apache SeaTunnel自研引擎Zeta简介 Apache SeaTunnel Web功能 SeaTunnel介绍 首先介绍一...2024-01-05 13:01:55 | ETL
-
ETL-34-apache SeaTunnel 实战 16-mysql 到 neo4j 实战批量模式
现象 希望实现 mysql 到 neo4j 的批量模式. 版本 v2.3.4 配置文件 env { execution.parallelism = 1 } source { # 使用 MySQL 作为数据源 Jdbc { url = "jdbc:mysql://localhost:3306/your_database" user = "your_user...2024-01-05 13:01:55 | ETL
-
ETL-34-apache SeaTunnel 实战 15 多次执行任务导致系统 OOM
现象 以前 seatunnel 运行比较正常，但是后来同事一直在测试，不停的启停任务，发现启动任务时报错 java.lang.OutOfMemoryError: Metaspace 采用的是 3 个服务节点，集群部署。 启用了 checkpoint 原因分析 这个一看应该是 jvm 的 metaspace 空间分配太小了。 客户端 jvm 设置方式 所以开始的时候，以为客户...2024-01-05 13:01:55 | ETL
-
ETL-33-apache SeaTunnel 实战 14 执行的任务比较慢遇到异常 java.util.concurrent.CompletionException java.lang.NullPointerException
参考资料 执行的任务比较长，checkpoint 的配置在文件： 异常 大概类似于 [Bug] [SeaTunnel Engine] NullPointerException when send data to doris 发生了什么事情： 我想将一亿条数据发送到 Doris，但任务总是因为 NullPointerException 而失败。我尝试了三次。 Doris ...2024-01-05 13:01:55 | ETL
-
ETL-33-apache SeaTunnel 实战 13 source http 实战例子
http source 场景：我们希望定时调用一个 http 请求 实战 配置 我们简单点，直接以百度为例子。 # Defining the runtime environment env { # You can set flink configuration here parallelism = 1 job.mode = "STREAMING" checkpoin...2024-01-05 13:01:55 | ETL
-
ETL-33-apache SeaTunnel 实战 12 自定义 transform 转换插件
模块整体目录 seatunnel-transforms-v2 转换模块整体目录如下： ├─src │ ├─main │ │ └─java │ │ └─org │ │ └─apache │ │ └─seatunnel │ │ └─transform │ │ ...2024-01-05 13:01:55 | ETL
Echo Blog
江湖无名 安心练剑