[发明专利]OceanBase集群可视化集中管理方法、系统、设备及存储介质

说明书

本发明涉及一种OceanBase集群可视化集中管理方法、系统、设备及存储介质，该方法包括：S1、批量生成指定年份每个月的转储数据查询SQL；S2、执行脚本在OceanBase集权服务器对每个集群执行SQL任务，将查询得到的结果保存在文本文件中；S3、对非结构化文本数据进行数据ETL操作；S4、创建数据库存储转储信息，然后将经过数据ETL操作后的结构化转储数据直接导入至所创建的数据库中；S5、设计网页前端，搭建网页后端服务，将前端表单中提交的起止时间以及选择的集群传入后端，后端接收到后能够返回汇总后的在限制日期内的租户转储次数，以及详细的租户级转储详细信息。与现有技术相比，本发明实现多集群、跨集群的转储信息集成，具有节省服务器资源以及查询时间的优点。

技术领域

本发明涉及数据库运维技术领域，尤其是涉及一种OceanBase集群可视化集中管理方法、系统、设备及存储介质。

背景技术

数据库是整个IT产业的基础技术。OceanBase是由蚂蚁集团完全自主研发的企业级分布式关系数据库，具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点，较好地解决了传统数据库难扩展、并发能力差的问题。

OceanBase是一个准内存数据库的架构，解决了传统数据库的随机写和写放大的问题。OceanBase把内存分为了两块，一块为MemTable，作为内存存储引擎，用于写；一块是热点缓存，用于读。所有对数据的修改操作，比如insert(新增)、update(更新)、delete(删除)等，都会先放到内存的MemTable中，所以可以认为MemTable是用于存储脏数据的。

MemTable中的数据会在内存中保存较长时间，当内存空间达到设定的阈值，就会把内存的一大批脏数据批量的写回到硬盘上，这个过程叫转储，转储的数据是增量数据，还需要与硬盘的基线数据进行合并，形成新的基线数据。

大型企业的机房中多采用多集群运维模式，集群多个服务器组成了一个大的资源池。租户类似传统数据库的实例，它由系统租户根据需要创建，可以拥有自己的数据库、表、独立的系统变量等。系统会根据各个租户的要求，创建与之对应的虚拟资源池给租户使用，资源池包括指定规格的CPU、内存、存储、TPS、QPS等。租户之间资源是相互隔离的，内存是物理隔离、CPU是逻辑隔离，避免租户之间争抢资源。

目前OceanBase查询集群的转储的方式是使用SQL查询__all_server_event_history表中符合event＝'do minor freeze success'的数据项，可以查询到执行转储的租户、租户id、服务器ip、转储时间等信息。

但是Oceanbase不支持进行跨集群、多集群的查询，无法查询多集群粒度下所有租户的转储信息，只能针对单一集群很难满足日常运维需要；每次SQL查询均在后台执行，查询得到的结果是一次性的、文本形式的表，并不是结构化数据，所以不支持进一步查询、汇总等操作；转储信息没有独立的数据表，导致每次查询都要执行与租户表__all_tenant之间的join关联操作，才能够得到租户的例如租户名等详细信息。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种OceanBase集群可视化集中管理方法、系统、设备及存储介质。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，给出了一种OceanBase集群可视化集中管理方法，该方法包括以下步骤：

步骤S1、批量生成指定年份每个月的转储数据查询SQL；

步骤S2、执行脚本在OceanBase集权服务器对每个集群执行SQL任务，将查询得到的结果保存在文本文件中；

步骤S3、对非结构化文本数据进行数据ETL操作；