历史库平台

提供迁移、校验、删除的一站式服务

OceanBase 历史库平台,提供了迁移、校验、删除的一站式服务,不仅能将业务系统数据库中越来越庞大的数据迁移至成本低廉的、使用机械硬盘的 OceanBase 集群中;同时还确保数据在完全一致的情况下才会被删除,保证了数据的安全性。

行业现状及痛点

日益增长的数据与业务查询性能成反比

随着业务的发展,累积在业务系统数据库中的数据量越来越庞大,为此企业需要购买更大容量的 SSD 硬盘,这将付出高昂的存储成本;

与此同时,数据表中存留着大量低频访问的历史数据可能会严重影响业务查询的性能。

通过历史库平台将数据迁移至使用机械硬盘的 OceanBase 集群中,相同数据容量的存储成本可以达到仅为之前成本的十分之一

迁移之后的手工删除动作没有校验机制

大多数的数据迁移工具仅支持数据的迁移,数据的删除往往需要额外执行。

如数据在迁移之后、手工删除之前被应用程序进行了修改,那么之后对该数据进行手工删除会造成业务数据的丢失。历史库平台提供了迁移、校验、删除的一站式服务,确保数据在完全一致的情况下,才会被删除,保证了数据的安全性

方案架构

方案架构

历史库平台由在线数据库、历史数据库集群、历史库客户端、历史库管控平台组成。

在线数据库:在线数据库,用于存放应用常常需要访问的数据,目前已支持 OceanBase,MySQL,Oracle 作为数据源。

历史数据库集群:历史数据库库集群,用于存放应用产生的终态数据,采用成本更低的SATA盘来搭建OceanBase数据库集群。

历史库客户端:用于处理用户发起的迁移、校验、删除任务。

历史库管控平台:用户对历史库进行各项操作的运维管理平台,提供权限管理、任务配置、任务监控等功能。

方案优势

迁移、校验、删除一站式服务

区别于其他数据迁移工具仅提供数据迁移功能,历史库平台提供了迁移、校验、删除的一站式服务。

应用可以更灵活的配置迁移条件,迁移平台能够正确地将符合迁移条件的数据迁出;并保证在在线库与历史库数据完全一致的情况下才将在线库的数据删除。

历史库平台最大程度上保证了数据的安全性与正确性

提供精细化的流量控制

区别于其他数据迁移为避免对实际业务产生影响,通常在业务低峰的深夜才进行迁移操作。

历史库平台提供了表级别、集群级别等不同维度的精细化流量控制,避免数据迁移期间负载过大对实际业务产生影响。

让保障业务不受影响的前提下,全天所有时段进行数据同步成为可能

提供关联表迁移

业务系统各业务表可能存在关联关系,属于关联关系中的多条记录要求同时迁移,同时删除。

历史库平台提供关联表配置,历史库客户端自动实现关联查询,无需用户通过创建临时表构建连接查询的方式进行迁移

多项目的优先级调度

历史库平台作为一个管理平台,需要同时管理多个不同集群的数据同步,在历史库客户端资源有限的情况下,历史库平台提供了完整的优先级调度系统,确保在资源有限的场景下,项目能够根据重要程度,依次有序的被调度执行

参考资料

历史库平台