[发明专利]一种适应云边协同多数据中心场景下的流数据处理方法及系统

说明书

本发明提出了一种适应云边协同多数据中心场景下的流数据处理方法及系统，根据分配到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，虚拟机对待处理的流数据进行处理，得到当前处理结果；根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；满足多数据中心资源协同处理的需求。

技术领域

本发明属于电力系统信息技术领域，涉及一种适应云边协同多数据中心场景下的流数据处理方法及系统。

背景技术

在电力行业，随着万物互联时代的到来，越来越多的多站融合数据中心出现，“多站融合”的数据中心是指边缘数据中心在内的多级数据中心，用于对电网内部业务、城市治理、互联网、工业制造等领域产生的数据进行边缘侧存储、处理和计算，是数据信息的汇聚基地，同时又是主要的负荷中心。区别与传统的数据中心，“多站融合”具有数量较多的云端、边缘端数据中心，可充分云端、边缘端、终端资源协同优势。

电网中存在大量流分析业务，当摄像传感设备和视频数据流量持续増加时，云计算这种集中式的处理架构将无法得到很好的扩展，在时延和网络带宽方面将遇到巨大的挑战，首先，应用程序在处理视频等流分析业务时需要非常低的时延，这是因为流视频分析的输出常用于与用户进行交互(例如AR场景)或启动其他系统。其次，海量、高清视频的传输需要大带宽，由于网络上行带宽的限制，视频数据直接传送到云端不合适，利用云端、边缘端数据中心资源解决流分析任务，将充分发挥多数据中心云边资源优势。

发明内容

发明目的：为了处理流分析任务并满足多数据中心资源协同处理的需求，本发明提供了一种适应云边协同多数据中心场景下的流数据处理方法及系统。

技术方案：一种适应云边协同多数据中心场景下的流数据处理方法，包括以下执行内容：

根据分配到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，虚拟机对待处理的流数据进行处理，得到当前处理结果；根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；其中，所述待处理的流数据包括设备终端采集到的流数据或经设备终端/边缘端数据中心/云端数据中心处理后得到的处理结果，所述下一子任务请求为处理优先级仅次于当前子任务请求的子任务请求；

其中，所述子任务请求是由当前资源位置或其他资源位置对用户流任务需求进行拆分得到，所述资源位置包括终端设备、边缘端数据中心和云端数据中心。

进一步的，在将当前处理结果发送至下一子任务请求所在的资源位置处之前，需判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他资源位置，若不存在异常，则将当前处理结果发送至下一子任务请求所在的资源位置，进行下一子任务请求处理。

进一步的，资源状态存在异常包括：终端设备/边缘端数据中心/云端数据中心上的资源无法满足下一子任务请求的处理要求和资源发生故障，所述资源包括计算资源、内存资源、网络资源和存储资源。

进一步的，还包括以下执行内容：

对其接收到的子任务请求的处理状态进行监测；

将监测到的子任务请求的处理状态同步至云端数据中心。

进一步的，所述的子任务请求的处理状态包括子任务请求的处理时长、衔接等待时长和子任务请求的请求时长。

进一步的，根据子任务请求的处理状态对成本性能配置策略进行调整，具体操作步骤如下：

各子任务请求的处理状态与预设概率计算表进行比对，并通过数据归纳法，调整概率计算表；

基于调整后的概率计算表改进成本性能配置策略；