背景

我们如何实现日志的自动化解析?

答案是前提需要标准化。

但是希望所有的日志都是标准的,这显然非常不现实。

那么,有没有什么办法,稍微让这个情况好一些呢?

v1-标准化的底层框架日志

我们场景的中间件,比如 mq cache rpc database config 等,可以提供一些中间件层面的标准的日志输出。

因为这部分不需要用户太多额外的工作量,一般公司提前埋点好,耗时比较好推进的。

V2-ETL

所有的数据不标准化,是一个常见的现状。

一种非常自然的解决方案就是 ETL,对日志加工处理为标准化的日志。

这方面做得比较好的,比如 logstash。

我们可以对加工后的日志进行相关的业务处理。

相关开源项目

标准化的日志输出: log stash in java.(简易版 logstash 实现)

日志的 ETL: log stash in java.(简易版 logstash 实现)

小结

日志的全链路作为基础,有很多需要考虑的点。

标准化==》自动化

全链路==》TID

参考资料