lib

mysql-connector-j-8.2.0.jar
neo4j-java-driver-4.4.9.jar

seatunnel connectors

connector-cdc-mysql
connector-cdc-mongodb
connector-elasticsearch
connector-jdbc
connector-kafka
connector-mongodb
connector-neo4j

环境准备

CentOS 7.6.18_x86_64
JDK >= 1.8.151
Maven >= 3.6.3
Apache Seatunnel ==2.3.3
Apache Seatunnel Web == 1.0.0

kettle

SymmetricDS

概览

chat

详细谈一下 ELT

ELT 可以指 Extract, Load, Transform，这是数据处理过程中的一种方法，与 ETL（Extract, Transform, Load）相似，但步骤顺序不同。

kettle

SymmetricDS

关于

我们是领先的数据集成平台，用于实现从API、数据库和文件到数据仓库、数据湖和数据湖仓库的ETL / ELT数据流水线。

kettle

SymmetricDS

概览

ETL

source: kakfa/mysql/oracle/neo4j

target: ES/neo4j/mysql/TDEngine

kettle

SymmetricDS

概览

ETL

source: kakfa/mysql/oracle/neo4j

target: ES/neo4j/mysql/TDEngine

CentOS 7.6.18_x86_64
JDK >= 1.8.151
Maven >= 3.6.3
Apache Seatunnel ==2.3.3
Apache Seatunnel Web == 1.0.0
MySQL >= 5.7.28

windows WSL 安装实战笔记

jdk

dh@d:~$ java -version
Command 'java' not found, but can be installed with:
sudo apt install openjdk-11-jre-headless  # version 11.0.20.1+1-0ubuntu1~22.04, or
sudo apt install default-jre              # version 2:1.11-72build2
sudo apt install openjdk-17-jre-headless  # version 17.0.8.1+1~us1-0ubuntu1~22.04
sudo apt install openjdk-18-jre-headless  # version 18.0.2+9-2~22.04
sudo apt install openjdk-19-jre-headless  # version 19.0.2+7-0ubuntu3~22.04
sudo apt install openjdk-8-jre-headless   # version 8u382-ga-1~22.04.1

DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

部署

参考 SeaTunnel及SeaTunnel Web部署指南(小白版)，记录真实的部署笔记。

2.SeaTunnel 安装

(1)下载seatunnel安装包

Apache SeaTunnel

上一篇，我们花了很大的精力，去安装一个单机版本的 SeaTunnel。

回头看，我们可以把这个步骤简化。

环境准备

CentOS 7.6.18_x86_64
JDK >= 1.8.151
Maven >= 3.6.3
Apache Seatunnel ==2.3.3
Apache Seatunnel Web == 1.0.0
MySQL >= 5.7.28

windows WSL 安装实战笔记

jdk

dh@d:~$ java -version
Command 'java' not found, but can be installed with:
sudo apt install openjdk-11-jre-headless  # version 11.0.20.1+1-0ubuntu1~22.04, or
sudo apt install default-jre              # version 2:1.11-72build2
sudo apt install openjdk-17-jre-headless  # version 17.0.8.1+1~us1-0ubuntu1~22.04
sudo apt install openjdk-18-jre-headless  # version 18.0.2+9-2~22.04
sudo apt install openjdk-19-jre-headless  # version 19.0.2+7-0ubuntu3~22.04
sudo apt install openjdk-8-jre-headless   # version 8u382-ga-1~22.04.1

SeaTunnel 是一个非常易于使用、超高性能的分布式数据集成平台，支持大规模数据的实时同步。

它能够每天稳定高效地同步数百亿条数据，并已经在近百家公司的生产环境中得到应用。

SeaTunnel的必要性主要体现在以下几个方面：

1. 各种数据源： 存在着数百种常用数据源，而它们的版本不兼容。随着新技术的出现，更多的数据源不断涌现。对用户而言，很难找到一个能够充分快速支持这些数据源的工具。

2. 复杂的同步场景： 数据同步需要支持离线全同步、离线增量同步、CDC（变更数据捕获）、实时同步和完整数据库同步等各种同步场景。

3. 高资源需求： 现有的数据集成和同步工具通常需要庞大的计算资源或JDBC连接资源，才能完成大规模小表的实时同步。这增加了企业的负担。

4. 缺乏质量和监控： 数据集成和同步过程经常出现数据丢失或重复的情况。同步过程缺乏监控，无法直观了解任务过程中数据的真实情况。

5. 复杂的技术堆栈： 企业使用的技术组件各异，用户需要为不同组件开发相应的同步程序，以完成数据集成。

6. 管理和维护的难度： 受限于不同的底层技术组件（如Flink/Spark），离线同步和实时同步通常需要分开开发和管理，这增加了管理和维护的难度。