在一些流处理中,比如 kafka 消费等,我们需要不停的解析处理消息,然后进行入库。
有时候消息需要进行落库,每次都是单个落库,对数据库的压力比较大。
可不可以把单个操作变化为批量入库,来提升性能呢?
单个落库改为批量
目的
比如 100 条数据要落库,单个调用数据库 100 次,比一次批量入库耗时要多。
所以我们可以想办法把单个调用进行合并,然后调用入库。
单个同步落库
最基础的单个同步落库流程如下:

2024年3月15日大约 4 分钟
在一些流处理中,比如 kafka 消费等,我们需要不停的解析处理消息,然后进行入库。
有时候消息需要进行落库,每次都是单个落库,对数据库的压力比较大。
可不可以把单个操作变化为批量入库,来提升性能呢?
比如 100 条数据要落库,单个调用数据库 100 次,比一次批量入库耗时要多。
所以我们可以想办法把单个调用进行合并,然后调用入库。
最基础的单个同步落库流程如下: