-
ETL-10-apache SeaTunnel Connector v2 source HTTP
Http
https://seatunnel.apache.org/docs/2.3.3/connector-v2/source/Http
Support Those Engines
Spark
Flink
SeaTunnel Zeta
Key Features
√ batch
√ stream
exactly-once
column projection
pa...
2024-01-05 13:01:55 |
ETL
-
ETL-10-apache SeaTunnel Connector v2 source FakeSource
FakeSource
FakeSource 连接器
描述
FakeSource 是一个虚拟数据源,根据用户定义的模式随机生成行数,仅用于一些测试用例,例如类型转换或连接器新功能测试。
主要特点
批处理
流处理
精确一次 ×
列投影
并行性 ×
支持用户定义的拆分 ×
选项
名称
类型
必需
...
2024-01-05 13:01:55 |
ETL
-
ETL-10-apache SeaTunnel Connector v2 source ES Elasticsearch
Elasticsearch
https://seatunnel.apache.org/docs/2.3.3/connector-v2/source/Elasticsearch
Elasticsearch 源连接器
描述
用于从 Elasticsearch 中读取数据。
支持版本 >= 2.x 和 <= 8.x。
关键特性
√ 批处理(batch)
流处...
2024-01-05 13:01:55 |
ETL
-
ETL-09-apache SeaTunnel jobEnv
JobEnvConfig
本文档描述了环境配置信息,env 统一了所有引擎的环境变量。
job.name
此参数配置了任务名称。
jars
可以通过 jars 加载第三方包,例如 jars=”file://local/jar1.jar;file://local/jar2.jar”。
job.mode
通过 job.mode 可以配置任务是处于批处理模式还是流处理模式,如 job.mo...
2024-01-05 13:01:55 |
ETL
-
ETL-08-apache SeaTunnel Intro to schema feature
模式特性介绍
为什么需要模式
一些 NoSQL 数据库或消息队列没有强制的模式,因此无法通过 API 获取模式。此时,需要定义一个模式以转换为 SeaTunnelRowType 并获取数据。
目前支持的类型
SeaTunnel 目前支持多种数据类型,具体支持的类型可以查看 SeaTunnel 的文档或相关资源。
这些类型通常包括基本数据类型(如整数、字符串、日期等)以及可能的复杂数...
2024-01-05 13:01:55 |
ETL
-
ETL-07-apache SeaTunnel Config Intro To Connector V2 Features
Connector V2 与 Connector V1 之间的区别
自从 https://github.com/apache/seatunnel/issues/1608 问题被解决后,我们添加了 Connector V2 功能。
Connector V2 是基于 SeaTunnel Connector API 接口定义的连接器。
与 Connector V1 不同,Connector ...
2024-01-05 13:01:55 |
ETL
-
ETL-06-apache SeaTunnel Config
配置文件介绍
在 SeaTunnel 中,最重要的是配置文件,通过它,用户可以定制自己的数据同步需求,以最大程度地发挥 SeaTunnel 的潜力。
接下来,我将介绍如何配置配置文件。
配置文件的主要格式是 HOCON(Human-Optimized Config Object Notation),关于此格式的更多详细信息,您可以参考 HOCON-GUIDE。顺便提一下,我们也支持 J...
2024-01-05 13:01:55 |
ETL
-
ETL-05-apache SeaTunnel 入门介绍
SeaTunnel
SeaTunnel 是一个非常易于使用、超高性能的分布式数据集成平台,支持大规模数据的实时同步。
它能够每天稳定高效地同步数百亿条数据,并已经在近百家公司的生产环境中得到应用。
SeaTunnel的必要性主要体现在以下几个方面:
各种数据源: 存在着数百种常用数据源,而它们的版本不兼容。随着新技术的出现,更多的数据源不断涌现。对用户而言,很难找到一...
2024-01-05 13:01:55 |
ETL