个人简介

Echo Blog


江湖无名 安心练剑
  • ETL-24-apache SeaTunnel 实战 mysql CDC 流式增量
    拓展阅读 ETL-10-apache SeaTunnel Connector v2 source mysql cdc mysql binlog mysql 准备 创建一个测试账户: CREATE USER 'admin'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON *.* TO 'admin'@'%' WITH GRANT...
    2024-01-05 13:01:55 | ETL
  • ETL-24-apache SeaTunnel mysql cdc JSON 到自定义 neo4j 实战笔记
    mysql 准备 创建一个测试账户: CREATE USER 'admin'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON *.* TO 'admin'@'%' WITH GRANT OPTION; flush privileges; 建表 create database test; use test; 创建测试表: ...
    2024-01-05 13:01:55 | ETL
  • ETL-23-apache SeaTunnel 实战 mysql 批量同步到 console/neo4j 入门测试用例
    mysql 准备 创建一个测试账户: CREATE USER 'admin'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON *.* TO 'admin'@'%' WITH GRANT OPTION; flush privileges; 建表 create database etl; use etl; 创建测试表+初始化数...
    2024-01-05 13:01:55 | ETL
  • ETL-22-apache SeaTunnel Transform 转换
    贡献转换指南 本文档描述了如何理解、开发和贡献一个转换。 我们还提供了转换端到端测试,以验证转换对数据的输入和输出。 概念 使用SeaTunnel,您可以通过连接器读取或写入数据,但如果您需要在读取之后或写入之前处理数据,则需要使用转换。 使用转换对数据行或字段进行简单的编辑,例如拆分字段、更改字段值、添加或删除字段。 数据类型转换 转换从上游(源或转换)接收数据类型输入,并将...
    2024-01-05 13:01:55 | ETL
  • ETL-22-apache SeaTunnel 博客-01-SeaTunnel 简介
    SeaTunnel 的前世今生 Apache SeaTunnel 是一个于 2017 年创建并开源的项目。它最初的命名是 Waterdrop,目前已经有很多用户在使用它了。 当时,它是基于 Spark 和 Flink 的一些配置项优化,比如当我们要从 Kafka 到 HDFS 或数据湖进行数据同步任务时,我们需要写对应的代码。 而 Waterdrop 则放弃了让用户编写代码的过程,通过...
    2024-01-05 13:01:55 | ETL
  • ETL-21-apache SeaTunnel coding guide 编码指导
    编码指南 本指南记录了当前Apache SeaTunnel模块的概述,并介绍了如何向Apache SeaTunnel提交高质量拉取请求的最佳实践。 模块概述 模块名称 介绍 seatunnel-api SeaTunnel连接器V2 API模块 seatunnel-apis SeaTunnel连接器V1 API模块 seatunnel-common SeaTunnel通用模块 seatu...
    2024-01-05 13:01:55 | ETL
  • ETL-20-apache SeaTunnel Dev local 本地开发 Scala 2.11.12 windows10 安装笔记
    如何在 windows10 安装 Scala 2.11.12 jdk 环境准备 >echo %JAVA_HOME% D:\tool\jdk\jdk-1.8 >java -version java version "1.8.0_371" Java(TM) SE Runtime Environment (build 1.8.0_371-b11) Java HotSpot(TM)...
    2024-01-05 13:01:55 | ETL
  • ETL-20-apache SeaTunnel Dev local 本地开发
    建立开发环境 在本部分,我们将向您展示如何为SeaTunnel设置开发环境,然后在您的JetBrains IntelliJ IDEA中运行一个简单的示例。 您可以在任何您喜欢的开发环境中开发或测试SeaTunnel代码,但在这里,我们以JetBrains IDEA作为示例,逐步教您设置环境。 准备工作 在我们开始讨论如何设置环境之前,我们需要进行一些准备工作。确保您已经安装了以下软件...
    2024-01-05 13:01:55 | ETL