[发明专利]一种分布式计算平台中视频数据迁移方法及装置

说明书

技术领域

本发明涉及视频数据处理技术领域，特别是涉及一种分布式计算平台中视频数据迁移方法及装置。

背景技术

随着科学技术的发展，每天产生的视频数据越来越多，例如：监控视频数据，为了对所产生的大量视频数据进行处理，分布式计算平台应运而生，分布式计算平台运行在分布式集群上，其中，分布式集群一般包括多个物理存储节点和一个管理节点，物理存储节点用于存储视频数据以及处理视频数据，管理节点用于对存储节点进行管理。

现有技术中通过分布式集群进行视频数据放置时，是一个随机放置的过程，例如：将视频数据集合中的视频数据随机分配至分布式集群中的各个物理存储节点中，其中，一个视频数据对应一个物理存储节点。

由于现有技术中通过分布式集群进行视频数据放置时是面向存储视频数据考虑的，即将视频数据存储到各个物理存储节点即可，因此，在视频数据放置之后，产生某个物理存储节点的负载很大，某个物理存储节点的负载很小的情况。当分布式集群需要进行视频数据计算时，管理节点将检测集群中各个物理存储节点的负载情况，将负载较大的物理存储节点上的视频数据迁移到负载较低的物理存储节点上，即在集群内部进行大量的视频数据迁移以使负载均衡，导致集群内部产生大量的网络传输，使得集群内部网络资源消耗较大。

发明内容

本发明实施例的目的在于提供一种分布式计算平台中视频数据迁移方法及装置，以减少集群内部网络资源的消耗。具体技术方案如下：

一种分布式计算平台中视频数据迁移方法，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述方法包括：

预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；

基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；

在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。

可选的，所述预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间的步骤，包括：

根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。

可选的，所述基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列的步骤，包括：

根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；

基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；

判断所述视频数据集合中的第二待分配视频数据的数量是否为1，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；

如果是，将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；

如果否，返回执行基于所述第一排列顺序确定一第一待分配视频数据的步骤。

可选的，所述在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移的步骤，包括：

针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量；