分布式事务-01-概览
分布式事务
分布式事务服务(Distributed Transaction Service,DTS)是一个分布式事务框架,用来保障在大规模分布式环境下事务的最终一致性。
CAP理论告诉我们在分布式存储系统中,最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题,所以分区容忍性是我们必须需要实现的,所以我们只能在一致性和可用性之间进行权衡。
为了保障系统的可用性,互联网系...
2019-04-05 02:56:39 |
Distributed
bloom filter 使用最佳实践,让你少采坑!
缓存穿透
缓存穿透 是一个很常见的问题。
抛开恶意攻击不谈,大量的传递依然会访问的 Redis 缓存。
比如黑白名单等信息,存储的比较少,但是实际交易中信息的量特别多。
BloomFilter 使用的问题
如果一个信息一开始有,后来移除了,则无法从 BloomFilter 中移除。
BloomFilter 虽然使用了多次 hash,尽可能的避...
2019-04-01 11:24:57 |
Best-Practice
WRK-测试利器
WRK
WRK is a modern HTTP benchmarking tool capable of generating significant load when run on a single multi-core CPU.
It combines a multithreaded design with scalable event notification systems ...
2019-04-01 11:24:57 |
Test
作业调度-05-一些核心的能力笔记
说明
作业平台
定时执行指定的任务
流程控制
可以拖拽===》可以配置的流程的各种控件。
核心思路
ETL
数据从哪里来====》(转换处理)====》数据到哪里去
数据来源
http postman 页面
mq
rpc
sql
text / 文件等等
redis
常见数据库
脚本
shell
groovy
python
js
转换
支持常见的 x...
2019-04-01 11:24:57 |
Monitor
作业调度-04-资源可视化
说明
一个基于 neo4j + vue 比较平平无奇的实现方案。
默认页面
默认显示所有的实体,彼此之间没有关系。
初始化选择
当选择一个开始节点以后,默认拉取所有相关的关系,展示出整体的依赖实体+关系。
概览图
选择
选择之后,根据层级等,展示对应的具体关系实体。
页面布局
条件
起点 终点 层级 方向
其他辅助
查看标签===》默认查询 all labels
...
2019-04-01 11:24:57 |
Monitor
作业调度-03-核心组价
账号管理
ssh
数据库
脚本(组)
shell
python
…
作业
基本:tags
版本管理
对比
参数
全局参数
每一步的参数
断言
mock
assert
组件(插件化)
E: 数据来源
api
sql/redis/…
file 文件分发等等
流程控制:if else / loop / concurrent / catch / retry...
2019-04-01 11:24:57 |
Monitor
作业调度-02-核心特性
背景
一个作业平台
定时任务
核心能力应该是作业的定时执行。
定时任务
资源的管理
对于文件的上传分发管理
数据源的访问
数据库 / redis / vm / mongodb 等
远程调用能力
shell 脚本
程序
http / rpc / mq 等
http 可以类似于 postman
断言
每一步的处理,都支持结果的断言。保证每一步执行的正确性。
机器...
2019-04-01 11:24:57 |
Monitor
作业调度 蓝鲸作业平台(Job)是一套运维基础操作管理系统,具备海量任务并发处理能力
About
蓝鲸作业平台(Job)是一套运维基础操作管理系统,具备海量任务并发处理能力。
除了支持脚本执行、文件分发、定时任务等一系列基础运维场景以外,还支持通过流程调度能力将零碎的单个任务组装成一个自动化作业流程;
而每个作业都可做为一个原子节点,提供给上层或周边系统/平台使用,实现调度自动化。
Benefits
安全可靠的高危命令检测能力
作为底层面向服务器OS的原子操作平台...
2019-04-01 11:24:57 |
Monitor