-
ETL-13-apache SeaTunnel Engine about
SeaTunnel Engine
SeaTunnel Engine是一个由社区开发的数据同步引擎,专为数据同步场景而设计。
作为SeaTunnel的默认引擎,它支持高吞吐量、低延迟和强一致性的同步作业操作,速度更快、更稳定、更节省资源且易于使用。
SeaTunnel Engine的整体设计遵循以下路径:
更快:SeaTunnel Engine的执行计划优化器旨在减少数据网络传输,从而...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 SQL
SQL
SQL transform plugin
描述:
使用 SQL 对给定的输入行进行转换。
SQL 转换使用内存中的 SQL 引擎,我们可以通过 SQL 函数和 SQL 引擎的能力来实现转换任务。
选项:
source_table_name [string]
源表的名称,查询 SQL 的表名必须与此字段匹配。
query [s...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 SQL functions
SQL FUNCTIONS
提供了一堆 SQL 的函数。
参考资料
https://seatunnel.apache.org/docs/2.3.3/transform-v2/sql-functions
SQL FUNCTIONS
参考资料
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 SQL UDF
SQL UDF transform 插件
描述
使用 UDF SPI 来扩展 SQL transform 的函数库。
UDF API
package org.apache.seatunnel.transform.sql.zeta;
public interface ZetaUDF {
/**
* Function name
*
* @retur...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 Split
Split
描述
将一个字段拆分成多个字段。
选项
name(名称): 字符串,必填。
separator(分隔符): 字符串,必填。用于拆分字段的分隔符。
split_field(拆分字段): 字符串,必填。要拆分的字段名称。
output_fields(输出字段): 数组,必填。存储拆分后的结果的字段数组。
常见选项
Transform plugin...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 Replace
Replace
Replace transform plugin
描述
检查给定字段中的字符串值,并用给定替换替换与给定字符串文字或正则表达式匹配的字符串值的子字符串。
选项
名称
类型
必需
默认值
replace_field
字符串
是
...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 FilterRowKind
FilterRowKind
FilterRowKind transform plugin
描述
按 RowKind 进行数据筛选。
选项
名称
类型
必需
默认值
row_kind
字符串
是
-
row_kind [...
2024-01-05 13:01:55 |
ETL
-
ETL-12-apache SeaTunnel Transform v2 Filter
Filter
Filter transform plugin
描述
按字段进行筛选。
选项
名称
类型
必需
默认值
fields
数组
是
-
fields [array]
需要保留的字段列表。不在列表中的字段将被删...
2024-01-05 13:01:55 |
ETL