个人简介

Echo Blog


江湖无名 安心练剑
  • 监控系统实战-09-什么是风险?什么又是报警呢?
    核心理念 AI 不谈。谈一下专家规则。 风控 比如功能+黑名单+限额限次 这些是比较固定的。 规则比如交易频次同比之类的差异过大等等 报警 报警也是类似的。 比如有 Exception 的 ERROR 日志,请求等波动比例。都可以认为是异常, 服务不可用,交易量跌 0 等等。 整体流程 数据的源头===》指标 风险识别==》规则 对应的策略:通过/拒绝/报警/验证/处...
    2018-11-25 01:14:43 | Devops
  • 监控系统实战-09-一些笔记 SQL 指标可能会被忽略的事情
    前言 指标的执行,看起来也很简单。 但是存在一些问题 数据源 数据源的过期+替换等问题 耗时 慢SQL对于整体平台的影响 过慢的要告警+禁用 可监控 对于监控平台自身的监控??? 性能 适当的 cache 个人理解 前言 数据源 耗时 可监控 性能 个人理解
    2018-11-25 01:14:43 | Devops
  • 监控系统实战-08-指标与规则
    indicator? cat event sql event trace cmdb measurement(度量) rule? how to use indicator? what is risk/alarm 其实按照这个角度,风控和报警的设计理念是一样的。 包括度量平台也是。 拆分开的优缺点 优点 规则和指标不需要强耦合。 指标可以从很多地方来,比如客诉+舆...
    2018-11-25 01:14:43 | Devops
  • 监控系统实战-07-长文本的截断+任务过多的丢弃+资源消耗过多的禁用
    舍得 在提供平台的服务时,我们要学会舍得。 这种智慧提现在很多地方。 比如: 1)日志 ES 落库太长,截断落库。 2)日志脱敏等处理,日志太长,截断+舍弃 3)任务如果执行耗时特别长、特别吃性能,考虑将数据直接禁用掉,避免影响其他服务。 隔离+限制 当然类似的还有限流 资源隔离 限制 cpu/mem 等等 预警 还有需要有对应的预警配套措施。 小结 舍得 舍得 ...
    2018-11-25 01:14:43 | Devops
  • 监控系统实战-05-分布式调度等如何实现 HA? 跨机房
    背景 分布式调度,要如何保证多机房可用? HA 高可用篇之异地多活异地双活入门介绍 拓展阅读 schedule-00-任务调度整体概览 分布式锁-02-SQL 数据库实现分布式锁 分布式锁-01-基于 Zookeeper 实现分布式锁 分布式锁-03-基于 mysql 实现分布式锁 项目 基于数据库最简单的分布式任务调度。(The simplest distributed...
    2018-11-25 01:14:43 | Devops
  • 监控系统实战-05-任务的分布式调度
    背景 在单机时代,我们如果想实现一个调度系统,那么并不难。 但是在分布式服务的今天,如何实现一个分布式调度的服务呢? 拓展阅读 schedule-00-任务调度整体概览 分布式锁-02-SQL 数据库实现分布式锁 分布式锁-01-基于 Zookeeper 实现分布式锁 分布式锁-03-基于 mysql 实现分布式锁 项目 基于数据库最简单的分布式任务调度。(The simp...
    2018-11-25 01:14:43 | Devops
  • 监控系统实战-04-SQL 指标的数据源
    背景 我们可以考虑设计一套 SQL 指标。 不过SQL指标个人感觉设计的比较好的就是类似于 grafana 这种,可以内置支持常见的数据源最好。 拓展阅读 grafana stack grafana-01-The open and composable observability and data visualization platform. 整体思路 核心能力 基础指标信息...
    2018-11-25 01:14:43 | Devops
  • 监控系统实战-04-05-SQL 指标应该有哪些核心能力?
    背景 我们如果想设计一个 SQL 指标/规则 系统,应该有哪些核心能力? 基础 用户+权限管理 系统设置 一些系统级别的常量+枚举 app 管理 相关应用管理 数据源管理 人工维护数据源 前期不失为一种过渡方案 告警模板 所有的模板支持自定义 日志记录 审计日志留痕 方便查问题+找出变更记录 进阶 报警+报表+直发 报警就是报警 报表,额外查询内容 直...
    2018-11-25 01:14:43 | Devops