• ETL-19-apache SeaTunnel Engine rest-api 一种基于 api 调用的方式
  REST API SeaTunnel 具有一个监控 API，可用于查询正在运行的作业的状态和统计信息，以及最近完成的作业。 监控 API 是一个支持 HTTP 请求并以 JSON 数据响应的 RESTful API。 概述 监控 API 由作为节点一部分运行的 Web 服务器支持，每个节点成员都可以提供 REST API 的功能。 默认情况下，此服务器在端口 5801 上监听，可以...
  2024-01-05 13:01:55 | ETL
• ETL-18-apache SeaTunnel Engine checkpoint-storage
  简介 检查点是一种容错恢复机制。此机制确保当程序运行时，即使突然遇到异常，也能够自我恢复。 检查点存储 检查点存储是用于存储检查点数据的存储机制。 SeaTunnel Engine 支持以下检查点存储类型： HDFS（OSS、S3、HDFS、LocalFile） LocalFile（本地文件）（已弃用：请改用 Hdfs（LocalFile）） 我们使用了微内核设计模式...
  2024-01-05 13:01:55 | ETL
• ETL-17-apache SeaTunnel Engine savepoint 如何根据保存点恢复任务？
  savepoint 和使用 savepoint 进行恢复 savepoint 是使用检查点创建的，是作业执行状态的全局镜像，可用于作业或 SeaTunnel 的停止和恢复、升级等操作。 使用 savepoint 要使用 savepoint，您需要确保作业使用的连接器支持检查点，否则可能会导致数据丢失或重复。 确保作业正在运行 使用以下命令触发 savepoint： ./bin/s...
  2024-01-05 13:01:55 | ETL
• ETL-15-apache SeaTunnel Engine local-mode
  在本地模式下运行作业 仅用于测试。 在生产环境中使用 SeaTunnel Engine 的最推荐方式是集群模式。 部署 SeaTunnel Engine 本地模式 参考部署 SeaTunnel Engine 本地模式 更改 SeaTunnel Engine 配置 在 $SEATUNNEL_HOME/config/hazelcast.yaml 中将 auto-increment 更...
  2024-01-05 13:01:55 | ETL
• ETL-16-apache SeaTunnel Engine cluster-mode
  在集群模式下运行作业 这是在生产环境中使用 SeaTunnel Engine 的最推荐方式。在此模式下，SeaTunnel Engine 的全部功能得到支持，并且集群模式将具有更好的性能和稳定性。 在集群模式下，首先需要部署 SeaTunnel Engine 集群，然后客户端将作业提交到 SeaTunnel Engine 集群进行运行。 部署 SeaTunnel Engine 集群 ...
  2024-01-05 13:01:55 | ETL
• ETL-14-apache SeaTunnel Engine deployment
  部署 SeaTunnel Engine 1. 下载 SeaTunnel Engine 是 SeaTunnel 的默认引擎。SeaTunnel 的安装包已经包含了 SeaTunnel Engine 的所有内容。 2. 配置 SEATUNNEL_HOME 您可以通过添加 /etc/profile.d/seatunnel.sh 文件来配置 SEATUNNEL_HOME。/etc/profi...
  2024-01-05 13:01:55 | ETL
• ETL-13-apache SeaTunnel Engine about
  SeaTunnel Engine SeaTunnel Engine是一个由社区开发的数据同步引擎，专为数据同步场景而设计。 作为SeaTunnel的默认引擎，它支持高吞吐量、低延迟和强一致性的同步作业操作，速度更快、更稳定、更节省资源且易于使用。 SeaTunnel Engine的整体设计遵循以下路径： 更快：SeaTunnel Engine的执行计划优化器旨在减少数据网络传输，从而...
  2024-01-05 13:01:55 | ETL
• ETL-12-apache SeaTunnel Transform v2 SQL
  SQL SQL transform plugin 描述： 使用 SQL 对给定的输入行进行转换。 SQL 转换使用内存中的 SQL 引擎，我们可以通过 SQL 函数和 SQL 引擎的能力来实现转换任务。 选项： source_table_name [string] 源表的名称，查询 SQL 的表名必须与此字段匹配。 query [s...
  2024-01-05 13:01:55 | ETL