个人简介

Echo Blog


江湖无名 安心练剑
  • ETL-24-apache SeaTunnel mysql cdc JSON 到自定义 neo4j 实战笔记
    mysql 准备 创建一个测试账户: CREATE USER 'admin'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON *.* TO 'admin'@'%' WITH GRANT OPTION; flush privileges; 建表 create database test; use test; 创建测试表: ...
    2024-01-05 13:01:55 | ETL
  • ETL-23-apache SeaTunnel 实战 mysql 批量同步到 console/neo4j 入门测试用例
    mysql 准备 创建一个测试账户: CREATE USER 'admin'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON *.* TO 'admin'@'%' WITH GRANT OPTION; flush privileges; 建表 create database etl; use etl; 创建测试表+初始化数...
    2024-01-05 13:01:55 | ETL
  • ETL-22-apache SeaTunnel Transform 转换
    贡献转换指南 本文档描述了如何理解、开发和贡献一个转换。 我们还提供了转换端到端测试,以验证转换对数据的输入和输出。 概念 使用SeaTunnel,您可以通过连接器读取或写入数据,但如果您需要在读取之后或写入之前处理数据,则需要使用转换。 使用转换对数据行或字段进行简单的编辑,例如拆分字段、更改字段值、添加或删除字段。 数据类型转换 转换从上游(源或转换)接收数据类型输入,并将...
    2024-01-05 13:01:55 | ETL
  • ETL-22-apache SeaTunnel 博客-01-SeaTunnel 简介
    SeaTunnel 的前世今生 Apache SeaTunnel 是一个于 2017 年创建并开源的项目。它最初的命名是 Waterdrop,目前已经有很多用户在使用它了。 当时,它是基于 Spark 和 Flink 的一些配置项优化,比如当我们要从 Kafka 到 HDFS 或数据湖进行数据同步任务时,我们需要写对应的代码。 而 Waterdrop 则放弃了让用户编写代码的过程,通过...
    2024-01-05 13:01:55 | ETL
  • ETL-21-apache SeaTunnel coding guide 编码指导
    编码指南 本指南记录了当前Apache SeaTunnel模块的概述,并介绍了如何向Apache SeaTunnel提交高质量拉取请求的最佳实践。 模块概述 模块名称 介绍 seatunnel-api SeaTunnel连接器V2 API模块 seatunnel-apis SeaTunnel连接器V1 API模块 seatunnel-common SeaTunnel通用模块 seatu...
    2024-01-05 13:01:55 | ETL
  • ETL-20-apache SeaTunnel Dev local 本地开发 Scala 2.11.12 windows10 安装笔记
    如何在 windows10 安装 Scala 2.11.12 jdk 环境准备 >echo %JAVA_HOME% D:\tool\jdk\jdk-1.8 >java -version java version "1.8.0_371" Java(TM) SE Runtime Environment (build 1.8.0_371-b11) Java HotSpot(TM)...
    2024-01-05 13:01:55 | ETL
  • ETL-20-apache SeaTunnel Dev local 本地开发
    建立开发环境 在本部分,我们将向您展示如何为SeaTunnel设置开发环境,然后在您的JetBrains IntelliJ IDEA中运行一个简单的示例。 您可以在任何您喜欢的开发环境中开发或测试SeaTunnel代码,但在这里,我们以JetBrains IDEA作为示例,逐步教您设置环境。 准备工作 在我们开始讨论如何设置环境之前,我们需要进行一些准备工作。确保您已经安装了以下软件...
    2024-01-05 13:01:55 | ETL
  • ETL-19-apache SeaTunnel Engine rest-api 一种基于 api 调用的方式
    REST API SeaTunnel 具有一个监控 API,可用于查询正在运行的作业的状态和统计信息,以及最近完成的作业。 监控 API 是一个支持 HTTP 请求并以 JSON 数据响应的 RESTful API。 概述 监控 API 由作为节点一部分运行的 Web 服务器支持,每个节点成员都可以提供 REST API 的功能。 默认情况下,此服务器在端口 5801 上监听,可以...
    2024-01-05 13:01:55 | ETL