• ETL-09-apache SeaTunnel jobEnv
  JobEnvConfig 本文档描述了环境配置信息，env 统一了所有引擎的环境变量。 job.name 此参数配置了任务名称。 jars 可以通过 jars 加载第三方包，例如 jars=”file://local/jar1.jar;file://local/jar2.jar”。 job.mode 通过 job.mode 可以配置任务是处于批处理模式还是流处理模式，如 job.mo...
  2024-01-05 13:01:55 | ETL
• ETL-08-apache SeaTunnel Intro to schema feature
  模式特性介绍 为什么需要模式 一些 NoSQL 数据库或消息队列没有强制的模式，因此无法通过 API 获取模式。此时，需要定义一个模式以转换为 SeaTunnelRowType 并获取数据。 目前支持的类型 SeaTunnel 目前支持多种数据类型，具体支持的类型可以查看 SeaTunnel 的文档或相关资源。 这些类型通常包括基本数据类型（如整数、字符串、日期等）以及可能的复杂数...
  2024-01-05 13:01:55 | ETL
• ETL-07-apache SeaTunnel Config Intro To Connector V2 Features
  Connector V2 与 Connector V1 之间的区别 自从 https://github.com/apache/seatunnel/issues/1608 问题被解决后，我们添加了 Connector V2 功能。 Connector V2 是基于 SeaTunnel Connector API 接口定义的连接器。 与 Connector V1 不同，Connector ...
  2024-01-05 13:01:55 | ETL
• ETL-06-apache SeaTunnel Config
  配置文件介绍 在 SeaTunnel 中，最重要的是配置文件，通过它，用户可以定制自己的数据同步需求，以最大程度地发挥 SeaTunnel 的潜力。 接下来，我将介绍如何配置配置文件。 配置文件的主要格式是 HOCON（Human-Optimized Config Object Notation），关于此格式的更多详细信息，您可以参考 HOCON-GUIDE。顺便提一下，我们也支持 J...
  2024-01-05 13:01:55 | ETL
• ETL-05-apache SeaTunnel 入门介绍
  SeaTunnel SeaTunnel 是一个非常易于使用、超高性能的分布式数据集成平台，支持大规模数据的实时同步。 它能够每天稳定高效地同步数百亿条数据，并已经在近百家公司的生产环境中得到应用。 SeaTunnel的必要性主要体现在以下几个方面： 各种数据源： 存在着数百种常用数据源，而它们的版本不兼容。随着新技术的出现，更多的数据源不断涌现。对用户而言，很难找到一...
  2024-01-05 13:01:55 | ETL
• ETL-03-简化版 SeaTunnel install windows10 单机 WSL 安装笔记
  说明 上一篇，我们花了很大的精力，去安装一个单机版本的 SeaTunnel。 回头看，我们可以把这个步骤简化。 环境准备 CentOS 7.6.18_x86_64 JDK >= 1.8.151 Maven >= 3.6.3 Apache Seatunnel ==2.3.3 Apache Seatunnel Web == 1.0.0 MySQL >= 5.7.28 ...
  2024-01-05 13:01:55 | ETL
• ETL-04-SeaTunnel 集群安装部署实战笔记 cluster-mode-install in action
  集群准备工作 2.SeaTunnel 安装 (1)下载seatunnel安装包 Apache SeaTunnel (2)解压下载好的tar.gz包 tar -zxvf /export/server/apache-seatunnel-2.3.3-bin.tar.gz -C ./ (3)查看Seatunnel使用的脚本 cd /export/server/apache-sea...
  2024-01-05 13:01:55 | ETL
• ETL-03-数据同步工具调研选型 SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
  拓展阅读 DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 部署 参考 SeaTunnel及SeaTunnel Web部署指南(小白版)，记录真...
  2024-01-05 13:01:55 | ETL