[发明专利]一种基于表的InfluxDB数据迁移方法

权利要求书

1.一种基于表的InfluxDB数据迁移方法，其特征在于，该方法包括以下步骤：

S1、提供基于InfluxDB表模型的数据读取，并对按特定时间区间及特定列读取源InfluxDB表中的数据进行支持；

S2、提供自定义配置接口，并对用户按需自定义包括待迁移的表、待迁移表中的列、待迁移表中数据的起止时间，以及待迁移的表数据来源和目标数据源进行支持；

S3、对于迁移的目标数据源，支持以文件的方式满足包括网络隔离及远程交付的业务场景；

S4、依据配置的每个任务分片时间大小和待迁移表的数据起止时间，对所有迁移子任务进行计算和实例化；

S5、通过调度引擎对每个独立的数据迁移分片任务进行调度，且每个独立的数据迁移分片任务根据待迁移的数据查询语句在源InfluxDB进行数据查询，并将查询结果统一写入到包含写入阈值的任务队列中；

S6、确保以最大速率从源InfluxDB读取数据和向目标InfluxDB写入数据；

S7、调度引擎对源InfluxDB数据库的查询响应时间指标进行实时监控，并基于百分位数值算法计算最近滑动时间窗口内查询响应耗时百分位数P95，同时通过百分位数P95与写入阈值进行比较，动态调整并发任务数；

其中，所述S7中百分位数值算法为：将一组数据从小到大排序，并计算相应的累计百分位，则一百分位所对应数据的值就称为这一百分位的百分位数，即一组n个观测值按数值大小排列。

2.根据权利要求1所述的一种基于表的InfluxDB数据迁移方法，其特征在于，所述S4中依据配置的每个任务分片时间大小和待迁移表的数据起止时间，对所有迁移子任务进行计算和实例化还包括以下步骤：

S41、任务实例化引擎通过待迁移表的数据起止时间除以任务分片的时间大小，计算得到待分割的迁移任务数；

S42、任务实例化引擎对每个迁移子任务及每个迁移子任务的起止时间进行实例化；

S43、根据S2中用户配置的包括待迁移的表及待迁移表的列信息，获取相关的元数据，并将该元数据注入到各待迁移的实例化任务中。

3.根据权利要求2所述的一种基于表的InfluxDB数据迁移方法，其特征在于，所述待分割的迁移任务数的计算公式为：

(结束时间-开始时间)[毫秒]/任务分片时间大小[毫秒]＝待分割的迁移任务数。

4.根据权利要求1所述的一种基于表的InfluxDB数据迁移方法，其特征在于，所述S5中通过调度引擎对每个独立的数据迁移分片任务进行调度，且每个独立的数据迁移分片任务根据待迁移的数据查询语句在源InfluxDB进行数据查询，并将查询结果统一写入到包含写入阈值的任务队列中还包括以下步骤：

S51、调度引擎根据用户配置的并发任务数和S4中实例化的任务，发起调度；

S52、对每个待迁移的数据迁移分片任务进行调度，且每个分片任务为一个独立运行进行数据迁移的最小单元；

S53、每个独立的数据迁移分片任务，在被调度发起执行时，组装待迁移的数据查询语句；

S54、数据迁移分片任务根据待迁移的数据查询语句在源InfluxDB进行数据查询，并将查询结果统一写入到包含写入阈值的任务队列中。

5.根据权利要求4所述的一种基于表的InfluxDB数据迁移方法，其特征在于，所述S53中组装待迁移的数据查询语句时，待迁移的数据查询语句根据任务的起始时间、迁移的列及表名组装。

6.根据权利要求4所述的一种基于表的InfluxDB数据迁移方法，其特征在于，所述写入阈值为3秒或5000条，且当写入时，队列中的指标数据大于5000条时，则发起批量写，异步刷新线程计时3秒时，异步刷新线程发起数据批量写操作。