• 分布式事务-02-NWR 读写模型、Quorum 机制
  分布式系统中的读写模型 分布式系统是由多个节点（指代一台服务器、存储设备等）构成，由于网络异常、宕机等节点并不能保证正常工作，特别是在节点数量很大的时候，出现异常状况的节点几乎是肯定的。为了保证系统的正常运行，能够提供可靠的服务，分布式系统中对于数据的存储采用多份数据副本（注：这里的副本并非只用来备份，它可参与提供系统服务）来保证可靠性，也就是其中一个节点上读取数据失败了那么可以转向另外一...
  2019-04-05 02:56:39 | Distributed
• 分布式事务-01-概览
  分布式事务 分布式事务服务（Distributed Transaction Service，DTS）是一个分布式事务框架，用来保障在大规模分布式环境下事务的最终一致性。 CAP理论告诉我们在分布式存储系统中，最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须需要实现的，所以我们只能在一致性和可用性之间进行权衡。 为了保障系统的可用性，互联网系...
  2019-04-05 02:56:39 | Distributed
• bloom filter 使用最佳实践，让你少采坑！
  缓存穿透 缓存穿透 是一个很常见的问题。 抛开恶意攻击不谈，大量的传递依然会访问的 Redis 缓存。 比如黑白名单等信息，存储的比较少，但是实际交易中信息的量特别多。 BloomFilter 使用的问题 如果一个信息一开始有，后来移除了，则无法从 BloomFilter 中移除。 BloomFilter 虽然使用了多次 hash，尽可能的避...
  2019-04-01 11:24:57 | Best-Practice
• WRK-测试利器
  WRK WRK is a modern HTTP benchmarking tool capable of generating significant load when run on a single multi-core CPU. It combines a multithreaded design with scalable event notification systems ...
  2019-04-01 11:24:57 | Test
• 作业调度-05-一些核心的能力笔记
  说明 作业平台 定时执行指定的任务 流程控制 可以拖拽===》可以配置的流程的各种控件。 核心思路 ETL 数据从哪里来====》（转换处理）====》数据到哪里去 数据来源 http postman 页面 mq rpc sql text / 文件等等 redis 常见数据库 脚本 shell groovy python js 转换 支持常见的 x...
  2019-04-01 11:24:57 | Monitor
• 作业调度-04-资源可视化
  说明 一个基于 neo4j + vue 比较平平无奇的实现方案。 默认页面 默认显示所有的实体，彼此之间没有关系。 初始化选择 当选择一个开始节点以后，默认拉取所有相关的关系，展示出整体的依赖实体+关系。 概览图 选择 选择之后，根据层级等，展示对应的具体关系实体。 页面布局 条件 起点 终点 层级 方向 其他辅助 查看标签===》默认查询 all labels ...
  2019-04-01 11:24:57 | Monitor
• 作业调度-03-核心组价
  账号管理 ssh 数据库 脚本（组） shell python … 作业 基本：tags 版本管理 对比 参数 全局参数 每一步的参数 断言 mock assert 组件（插件化） E: 数据来源 api sql/redis/… file 文件分发等等 流程控制：if else / loop / concurrent / catch / retry...
  2019-04-01 11:24:57 | Monitor
• 作业调度-02-核心特性
  背景 一个作业平台 定时任务 核心能力应该是作业的定时执行。 定时任务 资源的管理 对于文件的上传分发管理 数据源的访问 数据库 / redis / vm / mongodb 等 远程调用能力 shell 脚本 程序 http / rpc / mq 等 http 可以类似于 postman 断言 每一步的处理，都支持结果的断言。保证每一步执行的正确性。 机器...
  2019-04-01 11:24:57 | Monitor