[发明专利]视频流中异常内容的识别方法及视频流处理系统和方法

权利要求书

1.一种视频流处理系统，其特征在于，包括：

视频流提供终端，用于产生视频流并将视频流发送至第一服务器；

第一服务器，用于接收视频流并复制所述视频流获得视频流副本，将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器，接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的多维度识别结果，基于所述多维度识别结果判断所述视频流副本是否具有异常内容；若所述视频流副本具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流；

第二服务器，用于接收第一服务器发送的所述视频流副本，对所述视频流副本进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。

2.一种视频流处理系统，其特征在于，包括：

视频流提供终端，用于产生视频流并将所述视频流发送至第一服务器；

第一服务器，用于将所述视频流发送至第二服务器，并接收第二服务器发送针对所述视频流中视频片段的多维度识别结果；基于所述多维度识别结果判定所述视频片段是否具有异常内容；若所述视频片段不具有异常内容，则将所述视频片段发送至视频流接收终端；

视频流接收终端，用于接收所述第一服务器发送的所述视频片段；

第二服务器，用于接收第一服务器发送的所述视频流，对所述视频流进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集，从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。

3.一种视频流中异常内容的识别方法，其特征在于，包括：

对视频流进行采样获得采样帧序列，并缓存所述采样帧序列；

在所述采样帧序列中获取预设数量个采样帧，且，所述预设数量≥2；

基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；

从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵；

利用与各个维度对应的异常内容识别模型，对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果。

4.如权利要求3所述的方法，其特征在于，所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：

将所述预设数量个采样帧按采样顺序分为多组采样帧；

对各组采样帧中各个采样帧按采样顺序执行合并操作，获得各个部分采样帧；

对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。

5.如权利要求4所述的方法，其特征在于，所述多组采样帧中相邻两组采样帧具有交集。

6.如权利要求3所述的方法，其特征在于，预设数量为4，则所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：

将四个采样帧按采样顺序分为两组采样帧，两组采样帧均具有三个采样帧，且，采样帧两组采样帧具有交集；

对两组采样帧中各个采样帧按采样顺序执行合并操作，获得两个部分采样帧；

对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。