[发明专利]视频大数据云平台云存储服务方法

权利要求书

1.一种视频大数据云平台云存储服务方法，其特征在于，应用于包括云存储调度服务OSS Scheduler、云存储服务OSS、VP插件和读写SDK的云存储服务，其中，

云存储调度服务OSS Scheduler，用于存储服务业务入口，给OSS分发任务；

云存储服务OSS，用于包括存储、点播、下载、上传、备份业务的策略处理，调用VP实现读写功能；

VP插件，为抽象了读写SDK的接口，封装有包括AGSFS、X10000、AVI的SDK；

读写SDK，用于文件读写的最终实现，包括libAGSFS、libX10000、AVI三个部分，

云存储调度服务OSS Scheduler是云存储服务的核心，负责与客户端及其他需要存储的服务进行交互，为它们提供包括实时数据存储、历史数据查询回放、文件上传下载的服务，并将系统中分布式部署的云存储服务进行统一的管理调度，处理用户设置的存储计划，将其分解为单个的存储任务，按照调度策略发送给云存储服务执行，如果有一个云存储服务出现异常，将其承担的存储任务动态调度给其他云存储服务；当用户需要查询历史数据，根据其查询条件，通过存储数据库服务查询数据库，将结果返回给用户，

云存储服务中包括OSS负载，用于执行包括计划录像存储、手动录像存储、点播、抓拍任务，OSS_Scheduler用于以计划录像存储的IPC路数作为负载均衡的判定依据，对下发的存储任务进行解析，最终使得所有OSS执行的负载相同，

云存储服务包括OSS扩容，当所有OSS的性能超出某阈值时，向kubernetes申请再拉一个OSS服务，具体的，OSS_Scheduler继承了HTTP_Task，上线时获取kubernetes的IP、ADDR、URL，及相关OSS的存储节点信息；当OSS的性能超出某阈值，选取使用最少的存储节点及其他参数构建HTTP报文，然后发给kubernetes申请新OSS服务，

云存储服务包括OSS_Object管理，创建OSS_Cloud单例，并通过OSS_Cloud单例的接口实现对包括创建、关闭的OSS_Object的管理，

调度中心负责维护所有存储节点，存储节点负责把流写到存储介质中，存储介质包括磁盘，ISCAN，云存； 客户端查询、请求录像、下载操作都经过调度中心，由它把命令转发给存储节点处理；基于小文件方式存储，具体由OSS负责写，基于插件的方式扩展OSS存储介质； 文件为自定义格式，如果需要通用文件方式MP4，则转码SDK转成通用格式；每个存储记录都带有云存储服务的ID，在搜索文件时，发给对应的云存储服务；OSS Scheduler管理的元信息很少，会全部存储在数据库；另外OSS Scheduler上的元信息都是由OSS汇报的信息生成，本身没有自己的任何数据，这样使得OSS Scheduler非常容易扩展，直接增加Scheduler机器即可扩展为Scheduler Cluster来服务，Cluster里每个Scheduler之间是完全对等的，

OSS_Object管理进一步包括满覆盖功能，具体过程如下：

启动默认关闭，上线后向scheduler发送上线通知，然后scheduler会响应是否启动满覆盖检查功能，满覆盖功能策略：

定时检查是否有文件缓存期到期；

定时更新对应存储节点的磁盘使用情况；

定时检测当磁盘使用率超过80%，则删除较早文件直到75%以下结束；OSS_Object管理进一步包括备份功能，当用户配置了备份存储并开启，则OSS会调用VP执行备份功能，备份策略如下：

采用拷贝方式；

在文件创建时，记录文件信息；

定时检测文件是否可以备份，可以则备份并移除文件信息；

当备份节点磁盘使用率超过95%，则暂停备份功能，并发告警通知；

当备份节点磁盘使用率低于80%，则开启备份功能，

VP插件采用VP_Mgmt实现日志管理、线程管理功能，文件对象的读写功能实现过程如下：

对象入口VP_Object，文件写存储功能和文件读功能的入口

文件备份VP_Object_Backup，由于备份实现方式和具体的SDK有关系，放在VP实现；

点播业务VP_Object_Reader，封装了SDK的读接口，提供基本的读功能接口，VP_Object_Reader_VOD点播业务处理，分解VOD任务，获取VOD参数，调用VP_Object_Reader实现点播功能；

存储业务VP_Object_Writer，封装了SDK的写接口，提供基本的写功能接口，VP_Object_Writer_Storage存储业务处理，分解Storage任务，获取Storage参数，调用VP_Object_Writer实现存储功能，

云存储中录像查询、回放实现过程如下：

用户选择通道，按照录像类型和日期向用户接入服务UAS发起录像查询请求；

UAS向OSS_Scheduler服务发起查询录像请求，OSS_Scheduler查询数据库返回录像查询结果；

用户根据返回结果，如果有录像，点击播放录像，向UAS发起录像播放请求；

UAS向Stdu_Scheduler请求建立录像播放通道信息，Stdu_Scheduler根据负载情况调度STDU，STDU分配tocken对和连接信息并返回给Stdu_Scheduler；

Stdu_Scheduler将tocken和连接信息返回给UAS和OSS_Scheduler，UAS返回连接信息和tocken信息给客户端，OSS_Scheduler调度OSS服务根据tocken信息向STDU发送录像视频码流；

客户端根据tocken信息和连接信息和STDU建立连接通道，STDU通过建立的连接通道向客户端传输录像视频码流。