个人简介

Echo Blog

江湖无名 安心练剑
  • ETL-10-apache SeaTunnel Connector v2 source mysql
    MySQL https://seatunnel.apache.org/docs/2.3.3/connector-v2/source/Mysql JDBC MySQL 数据源连接器 支持的引擎 Spark Flink SeaTunnel Zeta 主要特点 √ 批处理 × 流处理 √ 精确一次 √ 列投影 √ 并行性 √ 支持用户定义的拆分 支持查询 SQL 并能够实现投...
    2024-01-05 13:01:55 | ETL
  • ETL-10-apache SeaTunnel Connector v2 source mysql cdc
    MySQL-CDC MySQL-CDC https://seatunnel.apache.org/docs/connector-v2/source/MySQL-CDC MySQL CDC source connector 描述 MySQL CDC 连接器允许从MySQL数据库读取快照数据和增量数据。 本文档描述了如何设置 MySQL CDC 连接器以针对 MySQL 数据...
    2024-01-05 13:01:55 | ETL
  • ETL-10-apache SeaTunnel Connector v2 source kafka
    kafka Kafka source connector Support Those Engines Spark Flink Seatunnel Zeta Key Features batch stream exactly-once × column projection parallelism × support user-defined split 驱动 直接从 c...
    2024-01-05 13:01:55 | ETL
  • ETL-10-apache SeaTunnel Connector v2 source HTTP
    Http https://seatunnel.apache.org/docs/2.3.3/connector-v2/source/Http Support Those Engines Spark Flink SeaTunnel Zeta Key Features √ batch √ stream exactly-once column projection pa...
    2024-01-05 13:01:55 | ETL
  • ETL-10-apache SeaTunnel Connector v2 source FakeSource
    FakeSource FakeSource 连接器 描述 FakeSource 是一个虚拟数据源，根据用户定义的模式随机生成行数，仅用于一些测试用例，例如类型转换或连接器新功能测试。 主要特点 批处理 流处理 精确一次 × 列投影 并行性 × 支持用户定义的拆分 × 选项 名称 类型 必需 ...
    2024-01-05 13:01:55 | ETL
  • ETL-10-apache SeaTunnel Connector v2 source ES Elasticsearch
    Elasticsearch https://seatunnel.apache.org/docs/2.3.3/connector-v2/source/Elasticsearch Elasticsearch 源连接器 描述 用于从 Elasticsearch 中读取数据。 支持版本 >= 2.x 和 <= 8.x。 关键特性 √ 批处理（batch） 流处...
    2024-01-05 13:01:55 | ETL
  • ETL-09-apache SeaTunnel jobEnv
    JobEnvConfig 本文档描述了环境配置信息，env 统一了所有引擎的环境变量。 job.name 此参数配置了任务名称。 jars 可以通过 jars 加载第三方包，例如 jars=”file://local/jar1.jar;file://local/jar2.jar”。 job.mode 通过 job.mode 可以配置任务是处于批处理模式还是流处理模式，如 job.mo...
    2024-01-05 13:01:55 | ETL
  • ETL-08-apache SeaTunnel Intro to schema feature
    模式特性介绍 为什么需要模式 一些 NoSQL 数据库或消息队列没有强制的模式，因此无法通过 API 获取模式。此时，需要定义一个模式以转换为 SeaTunnelRowType 并获取数据。 目前支持的类型 SeaTunnel 目前支持多种数据类型，具体支持的类型可以查看 SeaTunnel 的文档或相关资源。 这些类型通常包括基本数据类型（如整数、字符串、日期等）以及可能的复杂数...
    2024-01-05 13:01:55 | ETL