• canal-02-入门介绍
  背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。 不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。 ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本...
  2019-02-13 01:48:27 | Database
• canal 阿里巴巴 MySQL binlog 增量订阅&消费组件
  Canal Canal，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。 从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包...
  2019-02-13 01:48:27 | Database
• 数据库变化监听 database Change Data Capture cdc-03-Apache NIFI
  拓展阅读 Debezium-01-为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。 logstash 日志处理-06-Apache NiFi canal 阿里巴巴 MySQL binlog 增量订阅&消费组件 ETL-01-DataX 是阿里云DataWorks数据集成的开源版本。 Apache NiFi Apache Ni...
  2019-02-13 01:48:27 | Database
• 数据库变化监听 database Change Data Capture cdc-02-Maxwell's daemon, a mysql-to-json kafka producer
  拓展阅读 Debezium-01-为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。 logstash 日志处理-06-Apache NiFi canal 阿里巴巴 MySQL binlog 增量订阅&消费组件 ETL-01-DataX 是阿里云DataWorks数据集成的开源版本。 入门 这是Maxwell的守护程序，是一个...
  2019-02-13 01:48:27 | Database
• 数据库变化监听 database Change Data Capture cdc-01-overview
  拓展阅读 Debezium-01-为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。 logstash 日志处理-06-Apache NiFi canal 阿里巴巴 MySQL binlog 增量订阅&消费组件 ETL-01-DataX 是阿里云DataWorks数据集成的开源版本。 mysql cdc 以下是从MySQL获取...
  2019-02-13 01:48:27 | Database
• 如何优雅的给图片添加水印
  水印的类型 我们见过很多图片，都是有明水印的。一般在图片的右下角，或者图片的中间倾斜的印上某些信息，人眼可以看到。 还有一些水印对图片本身不产生影响，肉眼无法识别，可以通过特定解码，解析出来，我们称之为盲水印。 添加盲水印的方法 添加数字盲水印的方法简单可分为空域方法和频域方法，这两种方法添加了冗余信息，但在编码和压缩情况不变的情况下，不会使原始图像大小产生变化（原来是10MB添加盲...
  2019-02-13 01:11:35 | Tool
• 跳跃表(SkipList)
  什么是跳跃表 跳表由William Pugh发明。 他在论文 《Skip lists: a probabilistic alternative to balanced trees》中详细介绍了跳表的数据结构和插入删除等操作。 跳表是一种可以用来代替平衡树的数据结构，跳表使用概率平衡而不是严格执行的平衡，因此，与等效树的等效算法相比，跳表中插入和删除的算法要简单得多，并且速度要快得多。 ...
  2019-02-13 01:11:35 | Data-Struct
• java doc 文档注释最佳实践
  为什么要写注释？ 给别人看 给自己看 java 文档注释? 标签 作用域 说明 @author 类 标明开发该类模块作者 @version 类 标明该类模块的版本 @see 类, 属性, 方法 参考转向(相关主题) @param 方法 对方法中某参数的说明 @return 方法 对方法返回值的说明 @exception 方法 抛出的异常类型 @throws 方法 与@exceptio...
  2019-02-12 13:31:37 | DevOps