java 原生方式,创建指定个数定时执行的线程?如何把独立的 kafka 消息,基于内存聚合批量操作?
需求 1
需要多个线程同时进行,并发执行。同时要求每个线程定时执行,并且线程之间存在一定的时间差。
实现
package org.example;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurren...
2023-12-06 13:01:55 |
Log
java 原生方式,如何实现定时的任务调度?
策略调整
本地直接定时加载。
设计
总体的数据加载,需要一个开关 configPullFlag
定时调度的模式:configPullScheduleMode: all/update
all: 全量(默认)
update: 更新增量。
匹配时,有一个专门的匹配策略。
增量的注意点
增量的时候,需要注意一下被删除的数据,所以数据应该是伪删除(或者通过删除日志获取到)。
c...
2023-12-06 13:01:55 |
Log
java 如何获取类似于 a.b.c 这种链式的对象属性?
自测
heaven 中开始 0.5.0 支持。
chat
java 如何实现一个条件匹配方法,有两个入参,context 和 path。context 比如是一个 a 对象,有一个 b 属性,path=a 就获取 a 对象本身,a.b 就获取 a 对象的 b 属性?
在Java中实现一个条件匹配方法,根据传入的path字符串从context对象中获取对应的值,可以使用反射来实现。
...
2023-12-06 13:01:55 |
Log
logstack 日志技术栈-06-和 AI DeepSeek 聊一下日志技术栈
架构图
+——————-+
| 日志产生源 |
| (应用程序、服务器)|
+———+———+
|
v
+———+———+
| 日志采集器 |
| (Filebeat、Fluentd)|
+———+———+
|
v
+———+———+
| 日志处理引擎 |
| (L...
2023-10-30 13:01:55 |
Log
logstack 日志技术栈-05-windows10 elk install
安装 Elasticsearch elasticsearch-8.11.1
下载
访问 Elasticsearch 下载页面
解压下载的压缩文件到你选择的目录。
运行
进入 Elasticsearch 目录,运行 bin/elasticsearch.bat 启动 Elasticsearch。
验证
elaasticsearch的默认访问路径是localhost:9200,我们打...
2023-10-30 13:01:55 |
Log
logstack 日志技术栈-04-opensource 开源工具
日志技术栈
日志管理包含日志数据存储、处理、分析和可视化,通过利用日志管理工具,可以监控性能趋势、解决问题、检测异常并优化整体系统性能。
近年来,开源日志管理解决方案在大家寻求灵活且经济有效的方式来管理现代系统典型的大量日志数据时,获得了显著的关注。这些工具为商业产品提供了有力的替代方案,使各种规模的企业都能有效地管理日志数据。
在这篇文章中,我们将讨论六种开源日志管理工具,这些工具为...
2023-10-30 13:01:55 |
Log
logstack 日志技术栈-03-日志最佳实践
收集日志
日志管理的第一件事,就是日志的收集。日志收集是开发者必备的技巧,不管是哪个开发语言,哪个开发平台,日志收集的插件都是有很多选择的。
例如:.net 平台大家钟爱的log4net,支持多种存储方式(文件、数据库),多种格式,多种日志拆分方式。
java 平台主流的log4j、slf4j、logback,多种选择。日
志收集的组件这里就不一一说明了,使用都是很简单的,这里重点说...
2023-10-30 13:01:55 |
Log
logstack 日志技术栈-01-ELK/EFK chat 简单聊一聊 ELk
chat
Q: 介绍一下 ELK 技术栈
ELK 技术栈是由三个开源软件项目组成的组合,用于实时搜索、分析和可视化大量数据。ELK 代表 Elasticsearch、Logstash 和 Kibana。
Elasticsearch(ES):
用途:Elasticsearch 是一个分布式、RESTful 搜索和分析引擎,用于存储、检索和分析大量的结构化或非结...
2023-10-30 13:01:55 |
Log