logstash 日志加工处理-08-表达式执行引擎 AviatorScript+SpEL 如何把字符串变为小写
Q: 表达式引擎把字符串转换为小写的一个例子?
A1: springex
在Java中,你可以使用一些库来实现表达式引擎,比如Apache Commons JEXL、Spring的Expression Language(SpEL)或者使用JavaScript引擎(例如Rhino或Nashorn)。在这里,我将使用Spring的Expression Language(SpEL)作为例子。
...
2023-10-30 13:01:55 |
Log
logstash 日志处理-06-Apache NiFi
Q1: 详细介绍一下 Apache NiFi
Apache NiFi(NiFi)是一个由 Apache 软件基金会开发和维护的开源数据集成工具。
它提供了直观的用户界面,用于设计和自动化数据流,使用户能够轻松地收集、处理和分发数据。
以下是 Apache NiFi 的一些关键特点和功能:
可视化界面:
NiFi 提供了一个直观的、基于Web的用户界面,允许...
2023-10-30 13:01:55 |
Log
logstash java 实现 hangout-05-日志组件 elastic 技术套件 Elasticsearch+Logstash+Kibana+Beats+ECS
Q1: 介绍一下日志组件的 elastic 的相关技术套件
Elasticsearch 是 Elastic 公司推出的一个开源搜索引擎,广泛用于构建实时搜索和分析引擎。
它不仅可以用于全文搜索,还可以用于结构化数据的搜索和分析。
Elasticsearch 被广泛用于日志分析、监控、安全信息和指标分析等场景。
Elasticsearch 通常与 Logstash 和 Kibana 一...
2023-10-30 13:01:55 |
Log
logstash java 实现 hangout-04-logstash grok kv filters 解析实战笔记
实战笔记
app.yml
解析的 yml 配置文件如下:
inputs:
- Stdin:
codec: plain
hostname: true # if add hostname to event; default false
type: stdin1
filters:
- Filters:
id: 'f1'
i...
2023-10-30 13:01:55 |
Log
logstash java 实现 hangout-03-依赖的 jar 包简单说明
说明
和 ChatGpt 聊一下 hangout 中对应的 jar 到底依赖了哪些常见的包?
测试类
hamcrest 这个包的作用
Hamcrest 是一个用于编写自动化测试代码的 Java 框架,它提供了一组用于进行断言(assertions)的库。
Hamcrest 的目标是提供一种更具表现力和可读性的方式来编写测试断言,使得测试代码更容易理解和维护。
Hamcrest 的...
2023-10-30 13:01:55 |
Log
logstash java 实现 hangout-02-hangout 流程原理
架构浅谈
Hangout可以说是java版的Logstash,我是没有测试过性能,不过据说是kafka这边性能要高出Logstash5倍。
不知道真的假的,不过看代码,确实要比Logstash高效一点。
关于input,filter,output的关系
在Logstash里面,Input,filter,output是三个独立的部分,每个部分通过Buffer存储数据。
但是Hango...
2023-10-30 13:01:55 |
Log
logstash java 实现 hangout-01-overview
说明
模仿logstash做的一个应用.
现在我们迁移到了 https://github.com/childe/gohangout , 这个项目基本上停止更新了.
最近在将部分内容进行代码上的优化。
This product includes GeoLite2 data created by MaxMind, available from
http://www.maxmind.com...
2023-10-30 13:01:55 |
Log
logstash-00-logstash 入门介绍
Q1-logstash 详细介绍
Logstash是一个开源的数据收集引擎,它可以实时地将数据从不同的来源收集、转换、并且发送到多个目的地。
Logstash是Elastic Stack(也称为ELK Stack)中的一部分,用于处理和管理大规模数据的日志和事件。
Elastic Stack包括Elasticsearch、Logstash、和Kibana,它们共同提供了一个完整的日志分...
2023-10-30 13:01:55 |
Log