个人简介

Echo Blog


江湖无名 安心练剑
  • ETL-07-apache SeaTunnel Config Intro To Connector V2 Features
    Connector V2 与 Connector V1 之间的区别 自从 https://github.com/apache/seatunnel/issues/1608 问题被解决后,我们添加了 Connector V2 功能。 Connector V2 是基于 SeaTunnel Connector API 接口定义的连接器。 与 Connector V1 不同,Connector ...
    2024-01-05 13:01:55 | ETL
  • ETL-06-apache SeaTunnel Config
    配置文件介绍 在 SeaTunnel 中,最重要的是配置文件,通过它,用户可以定制自己的数据同步需求,以最大程度地发挥 SeaTunnel 的潜力。 接下来,我将介绍如何配置配置文件。 配置文件的主要格式是 HOCON(Human-Optimized Config Object Notation),关于此格式的更多详细信息,您可以参考 HOCON-GUIDE。顺便提一下,我们也支持 J...
    2024-01-05 13:01:55 | ETL
  • ETL-05-apache SeaTunnel 入门介绍
    SeaTunnel SeaTunnel 是一个非常易于使用、超高性能的分布式数据集成平台,支持大规模数据的实时同步。 它能够每天稳定高效地同步数百亿条数据,并已经在近百家公司的生产环境中得到应用。 SeaTunnel的必要性主要体现在以下几个方面: 各种数据源: 存在着数百种常用数据源,而它们的版本不兼容。随着新技术的出现,更多的数据源不断涌现。对用户而言,很难找到一...
    2024-01-05 13:01:55 | ETL
  • ETL-03-简化版 SeaTunnel install windows10 单机 WSL 安装笔记
    说明 上一篇,我们花了很大的精力,去安装一个单机版本的 SeaTunnel。 回头看,我们可以把这个步骤简化。 环境准备 CentOS 7.6.18_x86_64 JDK >= 1.8.151 Maven >= 3.6.3 Apache Seatunnel ==2.3.3 Apache Seatunnel Web == 1.0.0 MySQL >= 5.7.28 ...
    2024-01-05 13:01:55 | ETL
  • ETL-04-SeaTunnel 集群安装部署实战笔记 cluster-mode-install in action
    集群准备工作 2.SeaTunnel 安装 (1)下载seatunnel安装包 Apache SeaTunnel (2)解压下载好的tar.gz包 tar -zxvf /export/server/apache-seatunnel-2.3.3-bin.tar.gz -C ./ (3)查看Seatunnel使用的脚本 cd /export/server/apache-sea...
    2024-01-05 13:01:55 | ETL
  • ETL-03-数据同步工具调研选型 SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
    拓展阅读 DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 部署 参考 SeaTunnel及SeaTunnel Web部署指南(小白版),记录真...
    2024-01-05 13:01:55 | ETL
  • ETL-03-数据同步工具 SeaTunnel install windows10 WSL 安装笔记
    环境准备 CentOS 7.6.18_x86_64 JDK >= 1.8.151 Maven >= 3.6.3 Apache Seatunnel ==2.3.3 Apache Seatunnel Web == 1.0.0 MySQL >= 5.7.28 windows WSL 安装实战笔记 jdk dh@d:~$ java -version Command 'jav...
    2024-01-05 13:01:55 | ETL
  • ETL-00-ETL 与 ELT 的区别
    拓展阅读 kettle SymmetricDS 概览 ETL source: kakfa/mysql/oracle/neo4j target: ES/neo4j/mysql/TDEngine 支持特性:CDC / checkpoint 自己写的 logstash4j,学习一下别人的长处。 ETL 与 ELT 之间有什么区别? 提取、转换、加载(ETL)和提取、加载、转换...
    2024-01-05 13:01:55 | ETL