SeaTunnel
SeaTunnel 是一个非常易于使用、超高性能的分布式数据集成平台，支持大规模数据的实时同步。
它能够每天稳定高效地同步数百亿条数据，并已经在近百家公司的生产环境中得到应用。
SeaTunnel的必要性主要体现在以下几个方面：
-
各种数据源： 存在着数百种常用数据源，而它们的版本不兼容。随着新技术的出现，更多的数据源不断涌现。对用户而言，很难找到一个能够充分快速支持这些数据源的工具。
-
复杂的同步场景： 数据同步需要支持离线全同步、离线增量同步、CDC（变更数据捕获）、实时同步和完整数据库同步等各种同步场景。
-
高资源需求： 现有的数据集成和同步工具通常需要庞大的计算资源或JDBC连接资源，才能完成大规模小表的实时同步。这增加了企业的负担。
-
缺乏质量和监控： 数据集成和同步过程经常出现数据丢失或重复的情况。同步过程缺乏监控，无法直观了解任务过程中数据的真实情况。
-
复杂的技术堆栈： 企业使用的技术组件各异，用户需要为不同组件开发相应的同步程序，以完成数据集成。
-
管理和维护的难度： 受限于不同的底层技术组件（如Flink/Spark），离线同步和实时同步通常需要分开开发和管理，这增加了管理和维护的难度。
SeaTunnel的特性包括：
-
丰富且可扩展的连接器： SeaTunnel提供了一个不依赖于特定执行引擎的Connector API。基于该API开发的连接器（源、转换、汇）可以在许多不同的引擎上运行，如SeaTunnel Engine、Flink和Spark，这些引擎目前都得到支持。
-
连接器插件： 插件设计允许用户轻松开发自己的Connector并集成到SeaTunnel项目中。目前，SeaTunnel支持100多个连接器，并且这个数字还在不断增长。
-
批流一体化： 基于SeaTunnel Connector API开发的连接器完全兼容离线同步、实时同步、全同步、增量同步等场景。它们大大降低了管理数据集成任务的难度。
-
支持分布式快照算法以确保数据一致性。
-
多引擎支持： SeaTunnel默认使用SeaTunnel Engine进行数据同步。SeaTunnel还支持将Flink或Spark作为Connector的执行引擎，以适应企业现有的技术组件。SeaTunnel支持多个版本的Spark和Flink。
-
JDBC多路复用，数据库日志多表解析： SeaTunnel支持多表或整个数据库同步，解决了过多JDBC连接的问题；同时支持多表或整个数据库日志读取和解析，解决了CDC多表同步场景中对日志的重复读取和解析问题。
-
高吞吐量和低延迟： SeaTunnel支持并行读写，提供高吞吐量和低延迟的稳定可靠的数据同步能力。
-
完善的实时监控： SeaTunnel支持数据同步过程中每个步骤的详细监控信息，允许用户轻松了解同步任务读写的数据数量、数据大小、QPS等信息。
-
支持两种作业开发方法： 编码和画布设计。SeaTunnel web项目 https://github.com/apache/seatunnel-web 提供了作业的可视化管理、调度、运行和监控功能。
SeaTunnel work flowchart
SeaTunnel的运行过程如上图所示。
用户配置作业信息并选择执行引擎后，提交作业。
源连接器负责并行读取数据并将数据发送到下游的转换器（Transform）或直接发送到汇（Sink），而汇则将数据写入目的地。值得注意的是，源、转换器和汇可以轻松地由用户自行开发和扩展。
SeaTunnel是一款EL(T)数据集成平台。因此，在SeaTunnel中，转换器只能用于对数据执行一些简单的转换，比如将列数据转换为大写或小写，更改列名，或将一列拆分为多列。
SeaTunnel默认使用SeaTunnel Engine作为执行引擎。如果选择使用Flink或Spark引擎，SeaTunnel将把连接器打包成Flink或Spark程序，并提交给Flink或Spark运行。
Connector（连接器）
Source Connectors（源连接器）: SeaTunnel支持从各种关系型、图形、NoSQL、文档和内存数据库中读取数据；分布式文件系统如HDFS；以及各种云存储解决方案，如S3和OSS。我们还支持对许多常见SaaS服务的数据读取。您可以在此处查看详细列表。如果需要，您可以开发自己的源连接器并轻松集成到SeaTunnel中。
Transform Connector（转换连接器）: 如果源和汇之间的模式不同，您可以使用Transform Connector更改从源读取的模式，使其与汇的模式相同。
Sink Connector（汇连接器）: SeaTunnel支持将数据写入各种关系型、图形、NoSQL、文档和内存数据库；分布式文件系统如HDFS；以及各种云存储解决方案，如S3和OSS。我们还支持将数据写入许多常见的SaaS服务。您可以在此处查看详细列表。如果需要，您可以开发自己的汇连接器并轻松集成到SeaTunnel中。
谁在使用SeaTunnel
SeaTunnel被广泛应用于需要进行数据集成和同步的场景。以下是可能使用SeaTunnel的一些实体：
-
企业数据团队： 数据团队可以利用SeaTunnel来处理不同数据源之间的数据集成和同步，确保数据在整个企业中的一致性。
-
云服务提供商： 云服务提供商可能使用SeaTunnel来帮助其客户在多个环境中实现数据同步和迁移。
-
大数据处理平台： SeaTunnel的高性能使其成为处理大规模数据集成和同步的理想选择。
-
SaaS提供商： SaaS提供商可以利用SeaTunnel来提供灵活且可扩展的数据集成解决方案。
总体而言，SeaTunnel适用于各种需要处理数据集成和同步的组织和场景。
deployment
步骤 1：准备环境
在您希望在本地运行 SeaTunnel 之前，您需要安装 SeaTunnel 所需的以下软件：
- 已安装 Java（Java 8 或 11，理论上其他大于 Java 8 的版本也可以工作），并设置 JAVA_HOME。
步骤 2：下载 SeaTunnel
从 SeaTunnel 下载页面下载最新版本的 Seatunnel 分发包 seatunnel-<version>-bin.tar.gz。
或者，您可以通过终端下载：
export version="2.3.3"
wget "https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.tar.gz"
tar -xzvf "apache-seatunnel-${version}-bin.tar.gz"
步骤 3：安装连接器插件
自 2.2.0-beta 版本起，二进制包默认不提供连接器的依赖关系，因此第一次使用时，您需要执行以下命令来安装连接器：
sh bin/install-plugin.sh 2.3.3
如果需要指定连接器的版本，以 2.3.3 为例，您需要执行：
sh bin/install-plugin.sh 2.3.3
通常您不需要所有连接器插件，因此您可以通过配置 config/plugin_config 来指定您需要的插件。
例如，如果您只需要 connector-console 插件，可以将 plugin.properties 修改为：
--seatunnel-connectors--
connector-console
--end--
如果您想使示例应用正常工作，您需要添加以下插件：
--seatunnel-connectors--
connector-fake
connector-console
--end--
您可以在 ${SEATUNNEL_HOME}/connectors/plugins-mapping.properties 下找到所有支持的连接器和相应的 plugin_config 配置名称。
小贴士
作为替代，您也可以手动从 Apache Maven 存储库下载连接器，然后手动移动到 connectors/seatunnel 目录中。
如果您希望通过手动下载连接器来安装连接器插件，请特别注意以下事项：
连接器目录包含以下子目录，如果它们不存在，您需要手动创建它们：
- flink
- flink-sql
- seatunnel
- spark
您可以仅下载您需要的 V2 连接器插件并将它们放置在 seatunnel 目录中。
此外，目前希望您已成功在本地部署了 SeaTunnel。您可以按照快速入门指南配置并运行数据同步任务。
使用 SeaTunnel Engine 快速入门
步骤 1：部署 SeaTunnel 和连接器
在开始之前，请确保您已按照部署说明下载并部署了 SeaTunnel。
步骤 2：添加作业配置文件以定义一个作业
编辑 config/v2.batch.config.template 文件，该文件确定了 SeaTunnel 启动后的数据输入、处理和输出方式及逻辑。
以下是配置文件的示例，与上述示例应用相同。
env {
execution.parallelism = 1
job.mode = "BATCH"
}
source {
FakeSource {
result_table_name = "fake"
row.num = 16
schema = {
fields {
name = "string"
age = "int"
}
}
}
}
transform {
FieldMapper {
source_table_name = "fake"
result_table_name = "fake1"
field_mapper = {
age = age
name = new_name
}
}
}
sink {
Console {
source_table_name = "fake1"
}
}
有关配置的更多信息，请查阅 config 概念。
步骤 3：运行 SeaTunnel 应用程序
您可以通过以下命令启动应用程序：
cd "apache-seatunnel-${version}"
./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local
查看输出：运行命令时，您可以在控制台上看到其输出。您可以将这看作是命令是否成功运行的标志。
SeaTunnel 控制台将输出如下一些日志信息：
2022-12-19 11:01:45,417 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - output rowType: name<STRING>, age<INT>
2022-12-19 11:01:46,489 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=1: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: CpiOd, 8520946
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=2: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: eQqTs, 1256802974
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=3: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: UsRgO, 2053193072
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=4: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: jDQJj, 1993016602
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=5: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: rqdKp, 1392682764
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=6: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: wCoWN, 986999925
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=7: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: qomTU, 72775247
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=8: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: jcqXR, 1074529204
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=9: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: AkWIO, 1961723427
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=10: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: hBoib, 929089763
2022-12-19 11:01:46,490 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=11: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: GSvzm, 827085798
2022-12-19 11:01:46,491 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=12: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: NNAYI, 94307133
2022-12-19 11:01:46,491 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=13: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: EexFl, 1823689599
2022-12-19 11:01:46,491 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=14: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: CBXUb, 869582787
2022-12-19 11:01:46,491 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=15: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: Wbxtm, 1469371353
2022-12-19 11:01:46,491 INFO org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=16: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: mIJDt, 995616438
拓展阅读
https://seatunnel.apache.org/docs/2.3.3/start-v2/locally/quick-start-flink
https://seatunnel.apache.org/docs/2.3.3/start-v2/locally/quick-start-spark
参考资料
https://github.com/apache/seatunnel
https://seatunnel.apache.org/docs/2.3.3/about
更多学习
更多实时资讯，前沿技术，生活趣事。尽在【老马啸西风】
交流社群：[交流群信息](https://mp.weixin.qq.com/s/rkSvXxiiLGjl3S-ZOZCr0Q)
