[发明专利]一种基于表的InfluxDB数据迁移方法

说明书

本发明公开了一种基于表的InfluxDB数据迁移方法，该方法包括以下步骤：支持按特定时间区间及特定列读取源InfluxDB表中的数据；支持用户按需自定义各元数据；对迁移的目标数据源，满足网络隔离及远程交付；对所有迁移子任务进行计算和实例化；对每个独立的数据迁移分片任务进行调度，在源InfluxDB进行数据查询，将查询结果统一写入到任务队列中；以最大速率读取数据和写入数据；对查询响应时间指标进行实时监控，计算最近滑动时间窗口内查询响应耗时百分位数P95，并与写入阈值进行比较，动态调整并发任务数。有益效果：表的迁移方案控制的粒度更细，数据处理的更加精准，迁移效率更高。

技术领域

本发明涉及智慧运维领域，具体来说，涉及一种基于表的InfluxDB数据迁移方法。

背景技术

随着云化、容器化、分布式微服务的技术和架构持续演进，物联网的持续进化；应用实例和各种被对象的数量都以指数级增长，现代应用系统的性能，可用性等KPI(KeyPerformance Indicator，关键绩效指标)，运营性指标数据都具有两个明显的特征：

1、系统KPI(Key Performance Indicator)的数据具备时序型数据特征，数据都有一个时间轴，数据一般不会被更新等。

2、指标数量都是海量级别。时序数据库的存储、迁移都需要能够支持实时在线，高效能。

目前对于时序型数据库，业界比较知名的有InfluxDB、Kdb+、Prometheus、Graphite、RRDtool、OpenTSDB。从2016年开始InfluxDB一直占据榜首的位置，占比近30％，InfluxDB在各行业都广泛应用。

InfluxDB具备如下优势：安装便捷，无依赖；中等配置的机器支持每秒25万+数据写入[cpu：4-6核，内存：8-32G，IOPS(Input/Output Operations Per Second，磁盘每秒操作数)：500-1000]；原生支持HTTP API，更易对接和扩展，并提供各语言的SDK(SoftwareDevelopment Kit，软件开发工具包)；类SQL查询语言，以时间为中心的函数，学习成本更低，更易学习掌握和实施；查询响应迅速(100ms以内)；支持联系查询和不同的存储策略，能够快速的采样和分级存储能力。

在落地和实际生产过程中，不管是按项目交付的数据回传，还是集中管理的时序实例间的精确数据迁移等场景，都急需提供一种基于表的精细粒度控制的实时在线数据迁移能力。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于表的InfluxDB数据迁移方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种基于表的InfluxDB数据迁移方法，该方法包括以下步骤：

S1、提供基于InfluxDB表模型的数据读取，并对按特定时间区间及特定列读取源InfluxDB表中的数据进行支持；

S2、提供自定义配置接口，并对用户按需自定义包括待迁移的表、待迁移表中的列、待迁移表中数据的起止时间，以及待迁移的表数据来源和目标数据源进行支持；

S3、对于迁移的目标数据源，支持以文件的方式满足包括网络隔离及远程交付的业务场景；

S4、依据配置的每个任务分片时间大小和待迁移表的数据起止时间，对所有迁移子任务进行计算和实例化；

S5、通过调度引擎对每个独立的数据迁移分片任务进行调度，且每个独立的数据迁移分片任务根据待迁移的数据查询语句在源InfluxDB进行数据查询，并将查询结果统一写入到包含写入阈值的任务队列中；