• ETL-18-apache SeaTunnel Engine checkpoint-storage
  简介 检查点是一种容错恢复机制。此机制确保当程序运行时，即使突然遇到异常，也能够自我恢复。 检查点存储 检查点存储是用于存储检查点数据的存储机制。 SeaTunnel Engine 支持以下检查点存储类型： HDFS（OSS、S3、HDFS、LocalFile） LocalFile（本地文件）（已弃用：请改用 Hdfs（LocalFile）） 我们使用了微内核设计模式...
  2024-01-05 13:01:55 | ETL
• ETL-17-apache SeaTunnel Engine savepoint 如何根据保存点恢复任务？
  savepoint 和使用 savepoint 进行恢复 savepoint 是使用检查点创建的，是作业执行状态的全局镜像，可用于作业或 SeaTunnel 的停止和恢复、升级等操作。 使用 savepoint 要使用 savepoint，您需要确保作业使用的连接器支持检查点，否则可能会导致数据丢失或重复。 确保作业正在运行 使用以下命令触发 savepoint： ./bin/s...
  2024-01-05 13:01:55 | ETL
• ETL-15-apache SeaTunnel Engine local-mode
  在本地模式下运行作业 仅用于测试。 在生产环境中使用 SeaTunnel Engine 的最推荐方式是集群模式。 部署 SeaTunnel Engine 本地模式 参考部署 SeaTunnel Engine 本地模式 更改 SeaTunnel Engine 配置 在 $SEATUNNEL_HOME/config/hazelcast.yaml 中将 auto-increment 更...
  2024-01-05 13:01:55 | ETL
• ETL-16-apache SeaTunnel Engine cluster-mode
  在集群模式下运行作业 这是在生产环境中使用 SeaTunnel Engine 的最推荐方式。在此模式下，SeaTunnel Engine 的全部功能得到支持，并且集群模式将具有更好的性能和稳定性。 在集群模式下，首先需要部署 SeaTunnel Engine 集群，然后客户端将作业提交到 SeaTunnel Engine 集群进行运行。 部署 SeaTunnel Engine 集群 ...
  2024-01-05 13:01:55 | ETL
• ETL-14-apache SeaTunnel Engine deployment
  部署 SeaTunnel Engine 1. 下载 SeaTunnel Engine 是 SeaTunnel 的默认引擎。SeaTunnel 的安装包已经包含了 SeaTunnel Engine 的所有内容。 2. 配置 SEATUNNEL_HOME 您可以通过添加 /etc/profile.d/seatunnel.sh 文件来配置 SEATUNNEL_HOME。/etc/profi...
  2024-01-05 13:01:55 | ETL
• ETL-13-apache SeaTunnel Engine about
  SeaTunnel Engine SeaTunnel Engine是一个由社区开发的数据同步引擎，专为数据同步场景而设计。 作为SeaTunnel的默认引擎，它支持高吞吐量、低延迟和强一致性的同步作业操作，速度更快、更稳定、更节省资源且易于使用。 SeaTunnel Engine的整体设计遵循以下路径： 更快：SeaTunnel Engine的执行计划优化器旨在减少数据网络传输，从而...
  2024-01-05 13:01:55 | ETL
• ETL-12-apache SeaTunnel Transform v2 SQL
  SQL SQL transform plugin 描述： 使用 SQL 对给定的输入行进行转换。 SQL 转换使用内存中的 SQL 引擎，我们可以通过 SQL 函数和 SQL 引擎的能力来实现转换任务。 选项： source_table_name [string] 源表的名称，查询 SQL 的表名必须与此字段匹配。 query [s...
  2024-01-05 13:01:55 | ETL
• ETL-12-apache SeaTunnel Transform v2 SQL functions
  SQL FUNCTIONS 提供了一堆 SQL 的函数。 参考资料 https://seatunnel.apache.org/docs/2.3.3/transform-v2/sql-functions SQL FUNCTIONS 参考资料
  2024-01-05 13:01:55 | ETL