[发明专利]一种视频云存储的存储资源分配方法和装置

说明书

本发明实施例公开了一种视频云存储的存储资源分配方法和装置，应用于云存储集群中的管理节点，接收客户端的视频数据存储请求，根据该请求携带的资源池标识筛选得到所对应的可分配存储节点队列，根据编码器标识判断该请求是否为第一次请求，如是第一次请求，从该可分配存储节点队列中，根据压力预估算法，筛选能够被分配为写入节点的目标存储节点，如不是，从该可分配存储节点队列中，结合预先记录的节点同步信息中的存储节点的当前写入路数和该压力预估算法，筛选能够被分配为写入节点的目标存储节点，然后将目标存储节点的地址信息反馈给该客户端，应用本发明实施例可以实现对云存储系统的存储压力负载的均衡分配。

技术领域

本发明涉及计算机云存储领域，特别涉及一种视频云存储的存储资源分配方法和装置。

背景技术

大多数的视频云存储系统中，管理服务器对各个存储节点进行数据写入分配时，通常根据存储节点当前的读写路数、CPU、内存、磁盘IO访问率等负载情况进行综合比较，分配一个当前压力最小的存储节点。现有的这种分配方法，对于并发存储量小的资源分配请求，还可以应付，但是对于管理服务器采用集群方式并且存储量瞬时很大的情况，就无法满足，存在如下问题：某个存储节点瞬间被分配了过多的写入路数，压力瞬间增大，丢包情况不可避免。

同时，视频云存储系统中每个存储节点的存储能力可能不同，如果采用现有的单一的负载均衡策略，只考虑存储节点的负载压力，不利于视频云存储系统的整体统筹，会出现系统运行一段时间后，有的存储节点已经没有剩余空间，而有的存储节点上还有较多的剩余容量，管理服务器根据现有的资源分配策略，存在剩余容量的存储节点的写入压力会加大的问题。

发明内容

本发明实施例公开了一种视频云存储的存储资源分配方法和装置，可以实现对存储集群的存储压力负载的均衡分配。具体方案如下：

一方面，本发明实施例提供了一种视频云存储的存储资源分配方法，应用于存储集群中的管理节点，所述存储集群中包括至少一个管理节点和至少一个存储节点，所述方法包括：

接收客户端基于编码器发送的视频数据存储请求，所述视频数据存储请求携带待写入资源池的资源池标识和所基于编码器的编码器标识；

从所述资源池标识所对应的多个存储节点中，筛选得到所述视频数据存储请求所对应的可分配存储节点队列，其中，资源池标识与存储节点的对应关系被预先设置；

判断所述编码器标识是否被记录于编码器分配轨迹表中，如果是，从所述可分配存储节点队列中，结合预先记录的节点同步信息中的存储节点的当前写入路数和压力预估算法，筛选能够被分配为写入节点的目标存储节点；否则，从所述可分配存储节点队列中，根据所述压力预估算法，筛选能够被分配为写入节点的目标存储节点；其中，所述编码器分配轨迹表记录有被分配过存储节点的编码器的编码器标识与所分配存储节点的对应关系，所述压力预估算法为：根据所述节点同步信息对存储节点进行压力预估的算法；

如果从所述可分配存储节点队列中筛选得到能够被分配为写入节点的目标存储节点，将所述目标存储节点的地址信息基于所述编码器反馈给所述客户端，以使得所述客户端在所述目标存储节点中写入所述视频数据存储请求所对应的视频数据。

较佳的，所述预先记录的节点同步信息还包括：存储节点的CPU占用率、读取视频数据已占用的带宽以及当前读取路数、写入视频数据已占用的带宽、磁盘I/O占用率和内存占用率；

所述压力预估算法，包括：

根据存储节点的所述写入视频数据已占用的带宽以及当前写入路数，计算该存储节点的写压力预估值；

根据该存储节点的所述读取视频数据已占用的带宽以及当前读取路数，计算该存储节点的读压力；

根据该存储节点的所述CPU占用率、所述内存占用率、所述磁盘IO占用率、所述写压力预估值和所述读压力，计算该存储节点的压力预估值。