个人简介

Echo Blog


江湖无名 安心练剑
  • ETL-15-apache SeaTunnel Engine local-mode
    在本地模式下运行作业 仅用于测试。 在生产环境中使用 SeaTunnel Engine 的最推荐方式是集群模式。 部署 SeaTunnel Engine 本地模式 参考部署 SeaTunnel Engine 本地模式 更改 SeaTunnel Engine 配置 在 $SEATUNNEL_HOME/config/hazelcast.yaml 中将 auto-increment 更...
    2024-01-05 13:01:55 | ETL
  • ETL-16-apache SeaTunnel Engine cluster-mode
    在集群模式下运行作业 这是在生产环境中使用 SeaTunnel Engine 的最推荐方式。在此模式下,SeaTunnel Engine 的全部功能得到支持,并且集群模式将具有更好的性能和稳定性。 在集群模式下,首先需要部署 SeaTunnel Engine 集群,然后客户端将作业提交到 SeaTunnel Engine 集群进行运行。 部署 SeaTunnel Engine 集群 ...
    2024-01-05 13:01:55 | ETL
  • ETL-14-apache SeaTunnel Engine deployment
    部署 SeaTunnel Engine 1. 下载 SeaTunnel Engine 是 SeaTunnel 的默认引擎。SeaTunnel 的安装包已经包含了 SeaTunnel Engine 的所有内容。 2. 配置 SEATUNNEL_HOME 您可以通过添加 /etc/profile.d/seatunnel.sh 文件来配置 SEATUNNEL_HOME。/etc/profi...
    2024-01-05 13:01:55 | ETL
  • ETL-13-apache SeaTunnel Engine about
    SeaTunnel Engine SeaTunnel Engine是一个由社区开发的数据同步引擎,专为数据同步场景而设计。 作为SeaTunnel的默认引擎,它支持高吞吐量、低延迟和强一致性的同步作业操作,速度更快、更稳定、更节省资源且易于使用。 SeaTunnel Engine的整体设计遵循以下路径: 更快:SeaTunnel Engine的执行计划优化器旨在减少数据网络传输,从而...
    2024-01-05 13:01:55 | ETL
  • ETL-12-apache SeaTunnel Transform v2 SQL
    SQL SQL transform plugin 描述: 使用 SQL 对给定的输入行进行转换。 SQL 转换使用内存中的 SQL 引擎,我们可以通过 SQL 函数和 SQL 引擎的能力来实现转换任务。 选项: source_table_name [string] 源表的名称,查询 SQL 的表名必须与此字段匹配。 query [s...
    2024-01-05 13:01:55 | ETL
  • ETL-12-apache SeaTunnel Transform v2 SQL functions
    SQL FUNCTIONS 提供了一堆 SQL 的函数。 参考资料 https://seatunnel.apache.org/docs/2.3.3/transform-v2/sql-functions SQL FUNCTIONS 参考资料
    2024-01-05 13:01:55 | ETL
  • ETL-12-apache SeaTunnel Transform v2 SQL UDF
    SQL UDF transform 插件 描述 使用 UDF SPI 来扩展 SQL transform 的函数库。 UDF API package org.apache.seatunnel.transform.sql.zeta; public interface ZetaUDF { /** * Function name * * @retur...
    2024-01-05 13:01:55 | ETL
  • ETL-12-apache SeaTunnel Transform v2 Split
    Split 描述 将一个字段拆分成多个字段。 选项 name(名称): 字符串,必填。 separator(分隔符): 字符串,必填。用于拆分字段的分隔符。 split_field(拆分字段): 字符串,必填。要拆分的字段名称。 output_fields(输出字段): 数组,必填。存储拆分后的结果的字段数组。 常见选项 Transform plugin...
    2024-01-05 13:01:55 | ETL