[发明专利]一种视频处理方法及系统、分布式对象存储系统

说明书

本发明公开一种视频处理方法及系统、分布式对象存储系统，该方法应用于分布式对象存储系统，包括：Proxy节点、存储节点和客户端SDK，其中，Proxy节点用于集群信息元数据管理中间件服务，存储节点用于视频处理服务，客户端SDK定时异步获取Proxy节点上的集群元数据并缓存在本地服务器上，该方法通过在客户端SDK上快速计算视频文件在分布式对象存储集群中的存储节点以及完整文件名，绕过Proxy节点将处理请求直接发送到存储节点上，缩短数据传输路径，减少请求转发时间，提高视频生产效率；在存储节点上部署视频处理服务，直接处理客户端请求中对应的文件，然后返回结果给客户端，避免客户端下载整个视频文件，减少计算资源的采购，降低整个视频生产成本。

技术领域

本发明属于移动互联网技术领域，更具体的说，是涉及一种视频处理方法及系统、分布式对象存储系统。

背景技术

在移动互联网时代，每个人都是视频的创作者，利用便携的移动设备，例如：手机、PAD等进行实时拍摄美景、拍摄正在发生的事等，然后将视频上传到网上与他人分享。用户上传的视频可称为UGC(User Generated Content，用户原创内容)视频，随着UGC视频文件的日日剧增，给视频网站的视频文件存储和视频生产带来巨大的挑战。视频生产是指从用户上传视频到视频网站，视频网站内部对视频进行一系列的处理的过程，如内容合法性审核、元数据获取、截图、并将用户上传的视频转换成不同码率的视频文件，以适配各种不同的播放设备，最后将转换后的视频文件分发到CDN中供用户播放。

传统的视频存储系统都是在客户端上基于POSIX接口来对文件进行读、写处理，POSIX全称是Portable Operating System Interface即可移植操作系统接口，是为各种UNIX操作系统上运行的软件而定义的一系列API标准的总称，例如NFS、GlusterFS等存储文件系统。这类视频存储系统是通过客户端的方式将服务端的文件系统通过网络挂载到本地，然后通过POSIX接口访问服务器端的视频文件，属于挂载模式，在处理视频文件过程中需要将视频文件的所有内容从服务器上下载到客户端。在大规模分布式存储中这种方式存在一些缺陷，比如：需要将服务端存储以卷的方式挂载到客户端，这样随着客户端越来越多，维护挂载则越来越麻烦，客户端与服务端之间高度耦合，导致运维成本增加；对单个视频文件进行获取文件总大小、获取文件内容、获取视频尺寸、分辨率、像素比、显示比例、采样率、播放时长、帧率，以及对视频进行随机截图等操作，其实只是需要视频局部信息和内容，但客户端挂载方式则需要将整个文件下载到本地之后在通过POSIX接口进行处理，这样既耗时又消耗网络带宽，从而无法满足用户需求。

为解决上述技术中的问题，目前已经提出使用分布式对象存储系统来存储视频文件，在分布式对象存储系统中，查找出文件存放在集群中的哪个位置是一个较为复杂的过程，客户端通过已知的对象名向集群中Proxy节点服务发出下载或者其它请求，Proxy节点服务根据对象名和集群全局的元数据，即：所有存储节点IP，服务端口，存储节点磁盘挂载点以及磁盘权重等，这些信息在整个集群生命周期中是极少变更的，根据一定的HASH算法计算出对象所在的存储节点和在存储节点中完整的文件名，然后将客户端请求转发到存储节点中的存储服务上，存储节点中的存储服务处理完请求之后在将请求返回给Proxy节点服务，最后在由Proxy节点服务将结果返回给客户端。在整个过程中Proxy节点除了计算对象存储位置之外，最大的作用就是请求转发，而在视频生产中，这种转发请求会消耗一定的生产时间，影响生产效率。

发明内容

有鉴于此，本发明提供了一种视频处理方法及系统、分布式对象存储系统，以解决现有技术中由于在分布式对象存储系统中Proxy节点在计算对象存储位置的基础上，还要进行用户请求转发，转发请求会消耗一定的生产时间，影响生产效率的问题。

为实现上述目的，本发明提供如下技术方案：