个人简介

Echo Blog


江湖无名 安心练剑
  • ETL-10-apache SeaTunnel Connector v2 source HTTP
    Http https://seatunnel.apache.org/docs/2.3.3/connector-v2/source/Http Support Those Engines Spark Flink SeaTunnel Zeta Key Features √ batch √ stream exactly-once column projection pa...
    2024-01-05 13:01:55 | ETL
  • ETL-10-apache SeaTunnel Connector v2 source FakeSource
    FakeSource FakeSource 连接器 描述 FakeSource 是一个虚拟数据源,根据用户定义的模式随机生成行数,仅用于一些测试用例,例如类型转换或连接器新功能测试。 主要特点 批处理 流处理 精确一次 × 列投影 并行性 × 支持用户定义的拆分 × 选项 名称 类型 必需 ...
    2024-01-05 13:01:55 | ETL
  • ETL-10-apache SeaTunnel Connector v2 source ES Elasticsearch
    Elasticsearch https://seatunnel.apache.org/docs/2.3.3/connector-v2/source/Elasticsearch Elasticsearch 源连接器 描述 用于从 Elasticsearch 中读取数据。 支持版本 >= 2.x 和 <= 8.x。 关键特性 √ 批处理(batch) 流处...
    2024-01-05 13:01:55 | ETL
  • ETL-09-apache SeaTunnel jobEnv
    JobEnvConfig 本文档描述了环境配置信息,env 统一了所有引擎的环境变量。 job.name 此参数配置了任务名称。 jars 可以通过 jars 加载第三方包,例如 jars=”file://local/jar1.jar;file://local/jar2.jar”。 job.mode 通过 job.mode 可以配置任务是处于批处理模式还是流处理模式,如 job.mo...
    2024-01-05 13:01:55 | ETL
  • ETL-08-apache SeaTunnel Intro to schema feature
    模式特性介绍 为什么需要模式 一些 NoSQL 数据库或消息队列没有强制的模式,因此无法通过 API 获取模式。此时,需要定义一个模式以转换为 SeaTunnelRowType 并获取数据。 目前支持的类型 SeaTunnel 目前支持多种数据类型,具体支持的类型可以查看 SeaTunnel 的文档或相关资源。 这些类型通常包括基本数据类型(如整数、字符串、日期等)以及可能的复杂数...
    2024-01-05 13:01:55 | ETL
  • ETL-07-apache SeaTunnel Config Intro To Connector V2 Features
    Connector V2 与 Connector V1 之间的区别 自从 https://github.com/apache/seatunnel/issues/1608 问题被解决后,我们添加了 Connector V2 功能。 Connector V2 是基于 SeaTunnel Connector API 接口定义的连接器。 与 Connector V1 不同,Connector ...
    2024-01-05 13:01:55 | ETL
  • ETL-06-apache SeaTunnel Config
    配置文件介绍 在 SeaTunnel 中,最重要的是配置文件,通过它,用户可以定制自己的数据同步需求,以最大程度地发挥 SeaTunnel 的潜力。 接下来,我将介绍如何配置配置文件。 配置文件的主要格式是 HOCON(Human-Optimized Config Object Notation),关于此格式的更多详细信息,您可以参考 HOCON-GUIDE。顺便提一下,我们也支持 J...
    2024-01-05 13:01:55 | ETL
  • ETL-05-apache SeaTunnel 入门介绍
    SeaTunnel SeaTunnel 是一个非常易于使用、超高性能的分布式数据集成平台,支持大规模数据的实时同步。 它能够每天稳定高效地同步数百亿条数据,并已经在近百家公司的生产环境中得到应用。 SeaTunnel的必要性主要体现在以下几个方面: 各种数据源: 存在着数百种常用数据源,而它们的版本不兼容。随着新技术的出现,更多的数据源不断涌现。对用户而言,很难找到一...
    2024-01-05 13:01:55 | ETL