思路
场景
我们接收到报警之后,需要把报警信息落库。
其实有两种思路。
一种是流,一种是批模式。
优缺点
批
批模式可以做一些批量的优化操作。
比如 A2 的 disk 之类的无用异常过滤。
批模式如果改为 10 秒一次呢?
有什么问题?
批模式还可以支持数据的重跑,但是流没有这个能力。
可以两种模式都保留。
流
流模式可以在数据全部落库之后,最后做一下数据的落库处理。
实时性比较高。
记录一下更新时间,如果处理过了,就不需要批量在入库了。
折中
可以两种模式都保留。
其他
可以考虑入库 neo4j 的时候,采用记录一下入库的模式,
同时采用 MERGE 的方式入库,支持多次数据的更新处理。