-
ETL-15-apache SeaTunnel Engine local-mode
在本地模式下运行作业
仅用于测试。
在生产环境中使用 SeaTunnel Engine 的最推荐方式是集群模式。
部署 SeaTunnel Engine 本地模式
参考部署 SeaTunnel Engine 本地模式
更改 SeaTunnel Engine 配置
在 $SEATUNNEL_HOME/config/hazelcast.yaml 中将 auto-increment 更...
2024-01-05 13:01:55 |
ETL
-
ETL-16-apache SeaTunnel Engine cluster-mode
在集群模式下运行作业
这是在生产环境中使用 SeaTunnel Engine 的最推荐方式。在此模式下,SeaTunnel Engine 的全部功能得到支持,并且集群模式将具有更好的性能和稳定性。
在集群模式下,首先需要部署 SeaTunnel Engine 集群,然后客户端将作业提交到 SeaTunnel Engine 集群进行运行。
部署 SeaTunnel Engine 集群
...
2024-01-05 13:01:55 |
ETL
-
ETL-14-apache SeaTunnel Engine deployment
部署 SeaTunnel Engine
1. 下载
SeaTunnel Engine 是 SeaTunnel 的默认引擎。SeaTunnel 的安装包已经包含了 SeaTunnel Engine 的所有内容。
2. 配置 SEATUNNEL_HOME
您可以通过添加 /etc/profile.d/seatunnel.sh 文件来配置 SEATUNNEL_HOME。/etc/profi...
2024-01-05 13:01:55 |
ETL
-
ETL-13-apache SeaTunnel Engine about
SeaTunnel Engine
SeaTunnel Engine是一个由社区开发的数据同步引擎,专为数据同步场景而设计。
作为SeaTunnel的默认引擎,它支持高吞吐量、低延迟和强一致性的同步作业操作,速度更快、更稳定、更节省资源且易于使用。
SeaTunnel Engine的整体设计遵循以下路径:
更快:SeaTunnel Engine的执行计划优化器旨在减少数据网络传输,从而...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 SQL
SQL
SQL transform plugin
描述:
使用 SQL 对给定的输入行进行转换。
SQL 转换使用内存中的 SQL 引擎,我们可以通过 SQL 函数和 SQL 引擎的能力来实现转换任务。
选项:
source_table_name [string]
源表的名称,查询 SQL 的表名必须与此字段匹配。
query [s...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 SQL functions
SQL FUNCTIONS
提供了一堆 SQL 的函数。
参考资料
https://seatunnel.apache.org/docs/2.3.3/transform-v2/sql-functions
SQL FUNCTIONS
参考资料
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 SQL UDF
SQL UDF transform 插件
描述
使用 UDF SPI 来扩展 SQL transform 的函数库。
UDF API
package org.apache.seatunnel.transform.sql.zeta;
public interface ZetaUDF {
/**
* Function name
*
* @retur...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 Split
Split
描述
将一个字段拆分成多个字段。
选项
name(名称): 字符串,必填。
separator(分隔符): 字符串,必填。用于拆分字段的分隔符。
split_field(拆分字段): 字符串,必填。要拆分的字段名称。
output_fields(输出字段): 数组,必填。存储拆分后的结果的字段数组。
常见选项
Transform plugin...
2024-01-05 13:01:55 |
ETL