• logstack 日志技术栈-02-PLG 入门介绍
  ELK/EFK日志系统 如果今天谈论到要部署一套日志系统，相信用户首先会想到的就是经典的ELK架构，或者现在被称为Elastic Stack。 Elastic Stack架构为Elasticsearch + Logstash + Kibana + Beats的组合，其中，Beats负责日志的采集， Logstash负责做日志的聚合和处理，Elasticsearch作为日志的存储和搜索系统...
  2023-10-30 13:01:55 | Log
• logstack 日志技术栈-01-ELK/EFK 入门介绍
  常见日志收集方案 1.1、EFK ​在Kubernetes集群上运行多个服务和应用程序时，日志收集系统可以帮助你快速分类和分析由Pod生成的大量日志数据。 Kubernetes中比较流行的日志收集解决方案是Elasticsearch、Fluentd和Kibana（EFK）技术栈，也是官方推荐的一种方案。 1）Elasticsearch：是一个实时的，分布式的，可扩展的搜索引擎，它允许...
  2023-10-30 13:01:55 | Log
• log 日志全生命周期-01-overview 概览
  # chat 日志的全生命周期 应用日志的全生命周期管理涉及以下几个关键步骤： 日志生成： 定义需要记录的日志级别（如 DEBUG、INFO、WARN、ERROR）。 设计日志格式，包括时间戳、日志级别、消息内容和上下文信息（如用户ID、请求ID等）。 日志收集： 使用集中化的日志收集工具（如 ELK ...
  2023-10-30 13:01:55 | Log
• log 日志全生命周期-01-聊一聊日志
  chat 日志是什么？ 日志是记录系统、应用程序或服务在运行过程中产生的重要信息的文件或数据。 这些信息通常包括错误、警告、信息性消息、调试信息以及事件的时间戳等。日志的主要用途包括： 故障排查：帮助开发者和运维人员识别和解决问题。 性能监控：跟踪系统性能，发现瓶颈。 安全审计：记录用户活动和系统操作，帮助检测和调查安全事件。 合规性：满足行业法规和合规要求，记录必...
  2023-10-30 13:01:55 | Log
• log 日志全生命周期-01-概览 日志整体设计蓝图
  开源组件系列 日志矩阵 日志采集-logcollect-go 日志处理-logstash4j 日志处理插件-logstash4j-plugins TODO: 将插件和 logstash4j 合并，方便管理，单独一个 api 模块，方便拓展。 日志整合框架-log-integration 切面日志-auto-log 日志脱敏-sensitive 日志的全链路 全链路 aut...
  2023-10-30 13:01:55 | Log
• logstash 日志加工处理-24-input kafka + output kafka java 如何实现 kafka 的发送和消费？
  java 实现 kafa 消息发送入门例子 maven 引入 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> ...
  2023-10-30 13:01:55 | Log
• logstash 日志加工处理-23-aggregate 聚合多个 event 合并为一个
  Q: 详细介绍一下 logstash 中的 aggregate 插件 Logstash 中的 aggregate 插件是一个非常强大的插件，用于聚合事件并处理它们。 它的主要目的是将多个事件合并为一个，以便更容易进行处理和分析。 这在处理需要跨事件进行计算或关联的场景中非常有用。 以下是 aggregate 插件的一些关键配置项： task_id（必需）： 用于标识...
  2023-10-30 13:01:55 | Log
• logstash 日志加工处理-22-split 单个 event 拆分为多个 event
  Q-如何设计？ 如果让你来设计 split 插件，你会设置哪些属性？ 设计 split 插件时，需要考虑用户的使用需求，以及插件在实际场景中的通用性和灵活性。 以下是一些可能有用的属性： field（必需）： 指定要拆分的字段名。用户需要明确指定要在哪个字段上应用拆分操作。 target（可选）： 指定拆分后的值应该存储的字段名。默认情况下，可以将...
  2023-10-30 13:01:55 | Log