个人简介

Echo Blog


江湖无名 安心练剑
  • canal 阿里巴巴 MySQL binlog 增量订阅&消费组件
    Canal Canal,译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。 从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包...
    2019-02-13 01:48:27 | Database
  • 数据库变化监听 database Change Data Capture cdc-03-Apache NIFI
    拓展阅读 Debezium-01-为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。 logstash 日志处理-06-Apache NiFi canal 阿里巴巴 MySQL binlog 增量订阅&消费组件 ETL-01-DataX 是阿里云DataWorks数据集成的开源版本。 Apache NiFi Apache Ni...
    2019-02-13 01:48:27 | Database
  • 数据库变化监听 database Change Data Capture cdc-02-Maxwell's daemon, a mysql-to-json kafka producer
    拓展阅读 Debezium-01-为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。 logstash 日志处理-06-Apache NiFi canal 阿里巴巴 MySQL binlog 增量订阅&消费组件 ETL-01-DataX 是阿里云DataWorks数据集成的开源版本。 入门 这是Maxwell的守护程序,是一个...
    2019-02-13 01:48:27 | Database
  • 数据库变化监听 database Change Data Capture cdc-01-overview
    拓展阅读 Debezium-01-为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。 logstash 日志处理-06-Apache NiFi canal 阿里巴巴 MySQL binlog 增量订阅&消费组件 ETL-01-DataX 是阿里云DataWorks数据集成的开源版本。 mysql cdc 以下是从MySQL获取...
    2019-02-13 01:48:27 | Database
  • 如何优雅的给图片添加水印
    水印的类型 我们见过很多图片,都是有明水印的。一般在图片的右下角,或者图片的中间倾斜的印上某些信息,人眼可以看到。 还有一些水印对图片本身不产生影响,肉眼无法识别,可以通过特定解码,解析出来,我们称之为盲水印。 添加盲水印的方法 添加数字盲水印的方法简单可分为空域方法和频域方法,这两种方法添加了冗余信息,但在编码和压缩情况不变的情况下,不会使原始图像大小产生变化(原来是10MB添加盲...
    2019-02-13 01:11:35 | Tool
  • 跳跃表(SkipList)
    什么是跳跃表 跳表由William Pugh发明。 他在论文 《Skip lists: a probabilistic alternative to balanced trees》中详细介绍了跳表的数据结构和插入删除等操作。 跳表是一种可以用来代替平衡树的数据结构,跳表使用概率平衡而不是严格执行的平衡,因此,与等效树的等效算法相比,跳表中插入和删除的算法要简单得多,并且速度要快得多。 ...
    2019-02-13 01:11:35 | Data-Struct
  • java doc 文档注释最佳实践
    为什么要写注释? 给别人看 给自己看 java 文档注释? 标签 作用域 说明 @author 类 标明开发该类模块作者 @version 类 标明该类模块的版本 @see 类, 属性, 方法 参考转向(相关主题) @param 方法 对方法中某参数的说明 @return 方法 对方法返回值的说明 @exception 方法 抛出的异常类型 @throws 方法 与@exceptio...
    2019-02-12 13:31:37 | DevOps
  • java 对象属性复制(BeanCopy)最佳实践
    常见的属性赋值工具 Frameworks that ease bean mapping. dOOv - Provides fluent API for typesafe domain model validation and mapping. It uses annotations, code generation and a type safe DSL to make bean val...
    2019-02-12 13:31:37 | Java