个人简介

Echo Blog


江湖无名 安心练剑
  • log 日志全生命周期-01-overview 概览
    # chat 日志的全生命周期 应用日志的全生命周期管理涉及以下几个关键步骤: 日志生成: 定义需要记录的日志级别(如 DEBUG、INFO、WARN、ERROR)。 设计日志格式,包括时间戳、日志级别、消息内容和上下文信息(如用户ID、请求ID等)。 日志收集: 使用集中化的日志收集工具(如 ELK ...
    2023-10-30 13:01:55 | Log
  • log 日志全生命周期-01-聊一聊日志
    chat 日志是什么? 日志是记录系统、应用程序或服务在运行过程中产生的重要信息的文件或数据。 这些信息通常包括错误、警告、信息性消息、调试信息以及事件的时间戳等。日志的主要用途包括: 故障排查:帮助开发者和运维人员识别和解决问题。 性能监控:跟踪系统性能,发现瓶颈。 安全审计:记录用户活动和系统操作,帮助检测和调查安全事件。 合规性:满足行业法规和合规要求,记录必...
    2023-10-30 13:01:55 | Log
  • log 日志全生命周期-01-概览 日志整体设计蓝图
    开源组件系列 日志矩阵 日志采集-logcollect-go 日志处理-logstash4j 日志处理插件-logstash4j-plugins TODO: 将插件和 logstash4j 合并,方便管理,单独一个 api 模块,方便拓展。 日志整合框架-log-integration 切面日志-auto-log 日志脱敏-sensitive 日志的全链路 全链路 aut...
    2023-10-30 13:01:55 | Log
  • logstash 日志加工处理-24-input kafka + output kafka java 如何实现 kafka 的发送和消费?
    java 实现 kafa 消息发送入门例子 maven 引入 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> ...
    2023-10-30 13:01:55 | Log
  • logstash 日志加工处理-23-aggregate 聚合多个 event 合并为一个
    Q: 详细介绍一下 logstash 中的 aggregate 插件 Logstash 中的 aggregate 插件是一个非常强大的插件,用于聚合事件并处理它们。 它的主要目的是将多个事件合并为一个,以便更容易进行处理和分析。 这在处理需要跨事件进行计算或关联的场景中非常有用。 以下是 aggregate 插件的一些关键配置项: task_id(必需): 用于标识...
    2023-10-30 13:01:55 | Log
  • logstash 日志加工处理-22-split 单个 event 拆分为多个 event
    Q-如何设计? 如果让你来设计 split 插件,你会设置哪些属性? 设计 split 插件时,需要考虑用户的使用需求,以及插件在实际场景中的通用性和灵活性。 以下是一些可能有用的属性: field(必需): 指定要拆分的字段名。用户需要明确指定要在哪个字段上应用拆分操作。 target(可选): 指定拆分后的值应该存储的字段名。默认情况下,可以将...
    2023-10-30 13:01:55 | Log
  • logstash 日志加工处理-21-跨 event 的处理介绍 clone/split/multi/aggregate/elapsed/throttle
    Q: logstash 的 clone 插件 在Logstash中,”clone” 插件通常用于将事件(event)克隆多次,以便同时发送到多个目的地或进行多个处理。 通过克隆插件,你可以将一个事件分发到多个输出插件或者多个过滤器,以满足不同的需求。 以下是一个使用 Logstash 中的 “clone” 插件的简单示例: input { # 输入配置 stdin {} } ...
    2023-10-30 13:01:55 | Log
  • logstash 日志加工处理-20-groovy 动态脚本语言
    Q: 谈一谈 groovy Groovy 是一种基于 Java 平台的编程语言,它结合了静态类型语言和动态类型语言的特点。 Groovy 的设计目标是提供一种简洁、易读、易写的语法,同时与 Java 语言保持高度兼容性,使得开发人员能够更轻松地利用现有的 Java 代码和库。 以下是一些 Groovy 的主要特点: 动态类型: Groovy 是一种动态类型语言,这意味...
    2023-10-30 13:01:55 | Log