时序数据库系列
时序数据库-05-TDengine 是一款开源、高性能、云原生的时序数据库 (Time-Series Database, TSDB)
时序数据库-05-TDengine Time-Series Database, TSDB
时序数据库-05-TDengine windows11 WSL 安装实战笔记 docker
时序数据库-06-01-vm VictoriaMetrics 快速、经济高效的监控解决方案和时间序列数据库
时序数据库-06-02-vm VictoriaMetrics install on docker 安装 vm
时序数据库-06-03-vm VictoriaMetrics java 整合
时序数据库-06-04-vm VictoriaMetrics storage 存储原理简介
时序数据库-06-05-vm VictoriaMetrics cluster 集群原理
时序数据库-06-06-vm VictoriaMetrics cluster 集群访问方式
业务背景
一开始选取 vm 是想存储一些简单的指标信息的数据。
近期想实现一个数据的分组统计,发现需要把一些基础数据都放入 vm,发现数据量非常大,应该怎么解决呢?
解决思路
v1-TTL
定期删除数据。
不过目前的 vm 有其他的基础数据,希望存储很长时间。不适合修改全局的 TTL。
v2-手动删除
当然也考虑 了自己定期删除,但是这样就会比较麻烦。
V3-另起炉灶
当然,还有方法就是将这部分写入的数据到一个新的 VM。
新的 vm 存储保留的 TTL 更短。
但是这样成本比较高,可以作为后期的解决方案。
V4-减少数据
本身的需求,是分组后大于一定量的数据。
那么就可以在写入之前,程序本身进行统计,超过一定数量的才进行处理。
其他的直接忽略写入。
小结
方法总比困难多,选择合适的场景。