设计蓝图

整体设计

技术生态

容器的统一

  • [] nginx

  • [] tomcat

NGINX

  • short-URL 服务

  • keep-alive

  • cache

  • SSL+CORS+访问控制+防止倒链

远程调用的统一

HTTP

RPC: dubbo/grpc…

MQ: kafka/amq/rocketMQ/…

SOAP?

可以统一为唯一的标识+请求体吗？

最近计划做的一些事情

  • UMS+passport+SSO 基础的权限管理系统

  • CMDB 对应的资源管理系统

  • 前沿技术周报

  • 编程思想

  • 风控

路由统一前置

限额限次+黑白名单+功能开关+规则引擎+大模型

  • calicte 统一的数据库理念

  • 统一网关

  • NACOS: 注册中心+服务中心

  • 统一的数据 ETL 平台

  • 统一的数据 对比 平台

  • Ollama + AnythingLLM

数据=》向量=》向量数据库=》大模型

  • NLP 平台：分词+opencc4j+pinyin+…word-checker

  • cache: multi-layer-cache local=>redis=>mysql 一个通用的多层缓存框架

前端

技术栈

naive-ui-admin: naive-ui

element-ui

ant-design

babel

vue3

vite3

pina

vue-router

ts: ES6

mockjs

跨平台

uni-app

electron?

测试系列

覆盖率

测试用例

压测

造数

MOCK

断言 ASSERT

差异

git 比较代码差异+XML差异

AMS+链路，获取场景差异==》覆盖测试

依赖关系

dir(project)=>jar=>classess=>methods

可以针对这个，实现每一个项目的依赖 jar。结合流水线使用。

日志系列

auto-log: 日志自动生成

日志的脱敏：sensitive

auto-trace: traceId 自动生成。上下级的调用关系？span 放在 trace 中？

auto-collect: 日志的采集

kafka 中转 MQ

logstash4j: 日志的处理

ES: 日志的持久化+检索 NLP/lucene

日志的查看视图？？？？

日志的 ETL

参考 logstash4j

ETL

数据的转换处理

canal

Debezium-01-为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。

datax

seatunnel: source transfer sink

常见需求

kafka=>es

mysql/cdc=>mysql/neo4j

http==>td-engine

实现一个自己的数据库

分词之后，存储在文件。

然后结合 calcite 进行信息的检索。

file

HDFS 这种分布式文件

mq

rocket-mq

amq

kafka

自己实现 mq

关系

应用内：ASM

应用间：span

jvm-sandbox

获取到链路关系 + 场景管理

场景的管理

场景配置之后，实时链路定时加载，然后匹配处理。

脱敏等的闭环处理

宣导规避

发现存在的问题？

治理+改造解决

测试+验证

最终的检验+持续迭代==》形成闭环

监控报警系列

日志异常？

资源不足预警

监控报警平台

采集

普米

graphna

loki

累计

指标+规则

触发阈值===》采取对应的 action

规则 jar

统一的规则 jar 包

报警

monitor

cat

alarm

mertric

静默升级策略

如何管理？

如何推动？

如何评估结果？

定时调度系列

sandglass

权限系列

p-core

p-admin

网关系列

神谕

zuul

spring gateway

fizz-gateway

注册中心/配置中心

学习 nacos

devops

资源

k8s/vm

DB/CACHE/MQ/MongoDB 数据库资源

properties 配置

logs 日志

SERVER 服务

依赖服务：负载均衡+配置等等

AGENT：应用依赖的 agent，如日志采集

网络：防火墙+交换机+路由器+传输设备

文件：GFS+SFTP+NAS+网络磁盘等等

网络信息：IP+证书+域名

平台

硬件资源管理

ci/cd 流水线

所有资源的变更+管理+审计+自愈+自动化

TODO 轮子

  • 实现计算机

nand2tetris: https://github.com/woai3c/nand2tetris

  • 实现操作系统内核

MIT6.828: https://github.com/woai3c/MIT6.828

  • 实现数据库

  • 实现 mini-vue

mini-vue: https://github.com/woai3c/mini-vue

  • 实现 mini-qiankun 前端微服务

想实现的一些轮子

中间件：统一的开发框架+去O（但是这个很快就会被时代抛弃，但是思维比较不错。比如以后去 mysql）/加解密/分库分表/

同步：异构/同构 数据源之间的数据同步

分布式 ID：

nas 文件服务器/图片服务器

sso+权限

前后端统一？是否可以把资源独立出来？？是否需要

项目 用户 角色 权限 资源

session

CMDB 资源的管理

推送：IM

各种平台的

对账：数据源 + groovy 对比规则

分布式限流/防止重复提交/重试/降级/熔断

rpc/mq/http: 通讯协议

配置中心/注册中心：nacos

网关

分布式调度平台

数据库血缘

sqlflow

或者是主键+外键构建的血缘关系。

一些平台

测试平台：ui/api/性能/功能/数据管理/mock/工具

能效管理: 整个任务生命周期的管理 需求+评审+设计+测试用例+测试验证+CI/CD集成+代码质量+部署发布上线

度量平台：指标/model/scene 度量万物

安全平台：数据库信息+日志信息+网络+合规

任务调度

DB 全平台：元数据管理+工具

文档平台

CRM 审批全流程管理

QA 质量平台

ci/cd

包依赖：包版本+包兼容+snapshot+低版本

安全

功能

性能

稳定性

sonarQube

覆盖率：jacoco

代码本身：gitlab/github

依赖：jar 三方包

监控：日志

运维

需求+流程+埋点+设计+交互+可视化

数据库/资源存储

lucene=>ES

kafka?

json=>mongodb

neo4j

时序数据库： Td-engine

可视化数据大盘

dataease

服务化

把一些自己的开源项目服务化。

短链

dwz-server

统计

分析

NLP 系统

word-checker 改进，保留原始的检测算法。把字典单独拆分出去。

nlp 系列

产检编写

maven plugin √

idea-plugin √

vscode-plugin

chrome-plugin

项目编写

源码阅读

RPC 整理 ===> dubbo 源码阅读笔记

开源项目-改进

防重复提交-基于分布式锁

限流-基于分布式统计

valid 校验框架改进

sandglass 任务调度框架改进

应用开发

IM

uniapp

WS 通讯

BBS

其实可以理解为简化版本的博客

NLP

技术博客

分词-统计

DevOps 平台

  • 测试平台

  • 文档/接口 平台

  • CI 流水线

  • CD 持续部署？

  • 运维平台

信任服务

  • [] 供需平台

  • [] 征信服务

  • [] 数据平台

微服务系统

  • 用户管理

  • 权限管理

  • 应用管理

  • 配置中心

  • 任务调度

  • 加密机服务

  • [] IM 系统

  • [] 监控平台

  • [] 路由系统

  • [] 网关系统

  • [] 推荐系统

  • [] 用户模型

活跃度

喜好等 TAG

用户画像

  • [] 对账+余额+出款

基础服务

  • [] gitlab

  • [] 文档管理 docsify

  • [] 需求管理 项目立项 任务分配

  • [] 测试管理 覆盖率 测试报告

  • [] 质量管理 SONAR

  • [] 流水线发布 CI/CD

  • [] 上线管理

  • [] 运营管理-工单系统

  • [] 网络怪能力

黑白名单 连通性 反向代理

交易相关

  • 交易订单系统

  • 交易余额系统

  • 交易对账系统

  • 路由系统

  • 网关系统

风控

风控引擎

交易所

撮合引擎

个人进阶

学历

硕博

MBA

证书

证书考试

资料整理

技巧汇总

工作

薪资环境

面试准备

全职-兼职 统计

工作精进+思维训练

赚钱

金融理财

心理

心理学

房车

房屋租赁 买卖 预测 BI

信息统计

视频化===》

数据抓取

  • 热点信息

  • 各个市 房产+小程序

  • 小说

  • 笑话 段子 娱乐

  • 音乐 电影 动漫

  • 旅游 美食 穿搭

  • 汽车 房屋

  • 舆情分析 新闻

  • 金融 理财 保险

  • PDF 等资源管理

结合云盘（如何接口上传？）

  • 外包任务 + 招聘网站任务

  • 千图网 彼岸图网络

  • 投资信息

参考资料

https://github.com/jobbole/awesome-java-cn