CREATE TABLE task_templates (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(255) NOT NULL COMMENT '模板名称',
    description TEXT COMMENT '模板描述',
    category VARCHAR(100) COMMENT '模板分类',
    version VARCHAR(50) NOT NULL DEFAULT '1.0' COMMENT '模板版本',
    script_type ENUM('shell', 'python', 'sql', 'http') NOT NULL COMMENT '脚本类型',
    script_content LONGTEXT COMMENT '脚本内容',
    created_by VARCHAR(100) NOT NULL COMMENT '创建者',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    updated_by VARCHAR(100) COMMENT '更新者',
    updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
    is_active BOOLEAN DEFAULT TRUE COMMENT '是否激活',
    INDEX idx_name (name),
    INDEX idx_category (category),
    INDEX idx_created_by (created_by),
    INDEX idx_created_at (created_at)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='任务模板表';

模板参数表（template_parameters）

CREATE TABLE template_parameters (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    template_id BIGINT NOT NULL COMMENT '模板ID',
    param_name VARCHAR(100) NOT NULL COMMENT '参数名称',
    param_type ENUM('string', 'number', 'boolean', 'secret') NOT NULL COMMENT '参数类型',
    default_value TEXT COMMENT '默认值',
    is_required BOOLEAN DEFAULT FALSE COMMENT '是否必填',
    description TEXT COMMENT '参数描述',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    FOREIGN KEY (template_id) REFERENCES task_templates(id) ON DELETE CASCADE,
    INDEX idx_template_id (template_id),
    INDEX idx_param_name (param_name)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='模板参数表';

模板标签表（template_tags）

CREATE TABLE template_tags (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    template_id BIGINT NOT NULL COMMENT '模板ID',
    tag_name VARCHAR(50) NOT NULL COMMENT '标签名称',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    FOREIGN KEY (template_id) REFERENCES task_templates(id) ON DELETE CASCADE,
    INDEX idx_template_id (template_id),
    INDEX idx_tag_name (tag_name)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='模板标签表';

性能优化策略

为了提高任务模板存储的性能，需要实施以下优化策略：

索引优化

复合索引：为常用的查询组合创建复合索引
覆盖索引：创建覆盖索引减少回表查询
前缀索引：对长文本字段创建前缀索引
索引监控：定期监控索引使用情况，删除无用索引

查询优化

分页查询：对大量数据查询实施分页
预编译语句：使用预编译语句提高查询效率
连接优化：优化表连接查询
子查询优化：将复杂子查询转换为连接查询

缓存策略

热点数据缓存：将频繁访问的模板数据缓存到Redis
查询结果缓存：缓存常用查询结果
缓存更新机制：建立缓存更新和失效机制
缓存穿透防护：防止缓存穿透攻击

版本管理实现

任务模板的版本管理是确保模板可追溯和可回滚的重要功能：

版本控制策略

版本号规范：采用语义化版本号（如1.0.0）
自动版本递增：在模板修改时自动递增版本号
版本比较：支持版本号的比较和排序
版本回滚：支持回滚到历史版本

版本数据存储

CREATE TABLE template_versions (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    template_id BIGINT NOT NULL COMMENT '模板ID',
    version VARCHAR(50) NOT NULL COMMENT '版本号',
    script_content LONGTEXT COMMENT '脚本内容',
    config_snapshot JSON COMMENT '配置快照',
    change_log TEXT COMMENT '变更日志',
    created_by VARCHAR(100) NOT NULL COMMENT '创建者',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    FOREIGN KEY (template_id) REFERENCES task_templates(id) ON DELETE CASCADE,
    UNIQUE KEY uk_template_version (template_id, version),
    INDEX idx_template_id (template_id),
    INDEX idx_created_at (created_at)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='模板版本表';

版本管理接口

版本创建：提供创建新版本的接口
版本查询：提供查询历史版本的接口
版本比较：提供版本间差异比较功能
版本回滚：提供回滚到指定版本的功能

执行历史存储：海量时序数据的高效处理

执行历史记录了任务的执行过程和结果，是平台运维和问题分析的重要依据。执行历史数据具有海量、时序性强、查询分析复杂等特点，需要专门的存储方案来处理。

存储需求分析

执行历史存储需要满足以下需求：

数据特征

数据量大：随着平台使用，执行历史数据快速增长
时序性强：数据按时间顺序产生，查询多基于时间范围
结构多样：包含执行状态、结果数据、性能指标等多种信息
写入频繁：每次任务执行都会产生新的执行记录
查询复杂：需要支持多维度的查询和分析

性能要求

高写入性能：支持高并发的写入操作
快速查询：基于时间范围和条件的快速查询
高效聚合：支持各种统计和聚合操作
长期存储：需要长期保存历史数据

成本控制

存储成本：控制海量数据的存储成本
计算成本：控制数据处理和分析的计算成本
维护成本：降低系统维护的复杂度和成本

存储方案选型

对于执行历史存储，采用MySQL + 对象存储的混合方案：

MySQL存储方案

MySQL用于存储结构化的执行历史元数据：

执行记录表（execution_records）

CREATE TABLE execution_records (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    task_template_id BIGINT NOT NULL COMMENT '任务模板ID',
    execution_id VARCHAR(100) NOT NULL UNIQUE COMMENT '执行ID',
    task_name VARCHAR(255) NOT NULL COMMENT '任务名称',
    status ENUM('pending', 'running', 'success', 'failed', 'cancelled') NOT NULL COMMENT '执行状态',
    start_time TIMESTAMP NOT NULL COMMENT '开始时间',
    end_time TIMESTAMP NULL COMMENT '结束时间',
    duration BIGINT COMMENT '执行时长(毫秒)',
    triggered_by VARCHAR(100) NOT NULL COMMENT '触发者',
    target_hosts JSON COMMENT '目标主机列表',
    success_count INT DEFAULT 0 COMMENT '成功主机数',
    failure_count INT DEFAULT 0 COMMENT '失败主机数',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    INDEX idx_template_id (task_template_id),
    INDEX idx_execution_id (execution_id),
    INDEX idx_status (status),
    INDEX idx_start_time (start_time),
    INDEX idx_triggered_by (triggered_by)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='执行记录表';

执行步骤表（execution_steps）

CREATE TABLE execution_steps (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    execution_id VARCHAR(100) NOT NULL COMMENT '执行ID',
    step_name VARCHAR(255) NOT NULL COMMENT '步骤名称',
    step_order INT NOT NULL COMMENT '步骤顺序',
    status ENUM('pending', 'running', 'success', 'failed') NOT NULL COMMENT '步骤状态',
    start_time TIMESTAMP NOT NULL COMMENT '开始时间',
    end_time TIMESTAMP NULL COMMENT '结束时间',
    duration BIGINT COMMENT '执行时长(毫秒)',
    output TEXT COMMENT '执行输出',
    error_message TEXT COMMENT '错误信息',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    FOREIGN KEY (execution_id) REFERENCES execution_records(execution_id) ON DELETE CASCADE,
    INDEX idx_execution_id (execution_id),
    INDEX idx_status (status),
    INDEX idx_start_time (start_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='执行步骤表';

对象存储方案

对象存储用于存储大体积的执行结果和日志数据：

存储结构设计

execution-logs/
├── 2025/
│   ├── 09/
│   │   ├── 06/
│   │   │   ├── execution_20250906_001.log
│   │   │   ├── execution_20250906_002.log
│   │   │   └── ...
│   │   └── ...
│   └── ...
└── ...

execution-results/
├── 2025/
│   ├── 09/
│   │   ├── 06/
│   │   │   ├── result_20250906_001.json
│   │   │   ├── result_20250906_002.json
│   │   │   └── ...
│   │   └── ...
│   └── ...
└── ...

存储策略

分层存储：根据数据访问频率实施分层存储策略
生命周期管理：设置数据的生命周期规则，自动归档或删除
压缩存储：对日志和结果数据进行压缩存储
版本控制：对重要结果数据实施版本控制

性能优化策略

为了提高执行历史存储的性能，需要实施以下优化策略：

分区策略

对MySQL表实施时间分区：

-- 按月分区的执行记录表
CREATE TABLE execution_records (
    -- 字段定义同上
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 
PARTITION BY RANGE (YEAR(start_time) * 100 + MONTH(start_time)) (
    PARTITION p202501 VALUES LESS THAN (202502),
    PARTITION p202502 VALUES LESS THAN (202503),
    PARTITION p202503 VALUES LESS THAN (202504),
    -- 更多分区...
    PARTITION p202512 VALUES LESS THAN (202601)
) COMMENT='执行记录表';

索引优化

复合索引：为常用的查询组合创建复合索引
函数索引：为时间范围查询创建函数索引
前缀索引：对长文本字段创建前缀索引
索引监控：定期监控索引使用情况

查询优化

分页优化：优化大数据量的分页查询
预聚合：对常用统计信息进行预聚合
异步查询：对复杂查询实施异步处理
缓存策略：对热点查询结果实施缓存

日志存储：实时日志的高效检索与分析

日志数据记录了系统的运行状态和用户操作行为，是系统监控和问题排查的重要数据源。日志数据具有实时性强、数据量大、非结构化等特点，需要专门的存储和检索方案。

存储需求分析

日志存储需要满足以下需求：

数据特征

实时性强：需要实时收集和处理日志数据
数据量大：日志数据产生速度快，总量巨大
非结构化：日志内容格式多样，结构不固定
查询复杂：需要支持全文检索和复杂查询
分析需求：需要支持实时分析和统计

性能要求

高写入吞吐：支持高并发的日志写入
快速检索：支持毫秒级的日志检索
实时分析：支持实时的日志分析和统计
可扩展性：能够随着数据量增长而扩展

可用性要求

高可用：确保日志数据的持续可用
数据安全：确保日志数据的安全性和完整性
备份恢复：支持日志数据的备份和恢复

存储方案选型

对于日志存储，采用Elasticsearch + 对象存储的混合方案：

Elasticsearch存储方案

Elasticsearch用于存储和检索结构化的日志数据：

索引设计

{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 1,
    "refresh_interval": "30s",
    "translog": {
      "durability": "async"
    }
  },
  "mappings": {
    "properties": {
      "timestamp": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      },
      "level": {
        "type": "keyword"
      },
      "logger": {
        "type": "keyword"
      },
      "thread": {
        "type": "keyword"
      },
      "message": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "exception": {
        "type": "text"
      },
      "host": {
        "type": "keyword"
      },
      "service": {
        "type": "keyword"
      },
      "trace_id": {
        "type": "keyword"
      },
      "tags": {
        "type": "keyword"
      }
    }
  }
}

索引生命周期管理

{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "1d",
            "max_size": "50gb"
          }
        }
      },
      "warm": {
        "min_age": "1d",
        "actions": {
          "forcemerge": {
            "max_num_segments": 1
          },
          "shrink": {
            "number_of_shards": 1
          }
        }
      },
      "cold": {
        "min_age": "7d",
        "actions": {
          "freeze": {}
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

对象存储方案

对象存储用于存储原始日志文件：

存储结构设计

raw-logs/
├── application/
│   ├── 2025/
│   │   ├── 09/
│   │   │   ├── 06/
│   │   │   │   ├── app-2025-09-06-00.log.gz
│   │   │   │   ├── app-2025-09-06-01.log.gz
│   │   │   │   └── ...
│   │   │   └── ...
│   │   └── ...
│   └── ...
├── system/
│   └── ...
└── security/
    └── ...