[发明专利]一种可视化融合通信调度系统及其实现方法

说明书

本发明提供了一种可视化融合通信调度系统及其实现方法，所述系统包括视频采集客户端和服务器；所述视频采集客户端包括视频采集器、可视化组件、视频流处理器和控制器，所述视频采集器、可视化组件和视频流处理器均与所述控制器连接；所述服务器包括目标检测模块、手势识别模块、调度指令确定模块和调度模块；所述目标检测模块用于基于所述视频采集客户端传输的数据进行目标检测；所述手势识别模块用于基于目标检测的结果进行手势识别；所述调度指令确定模块用于根据手势识别的结果确定调度指令；所述调度模块用于根据所述调度指令进行通信调度。本公开支持全自动的通信调度。

技术领域

本发明涉及计算机领域，尤其涉及一种可视化融合通信调度系统及其实现方法。

背景技术

随着我国社会经济的高速发展，为满足新形势下人们日益增长的通信需求以及通信应用场景的不断变化，各种行业都有自己的视频调度解决方案。视频调度大多依赖手动触发指令进行，其自动化程度有待提升。

发明内容

为了解决上述技术问题，本发明提出了一种可视化融合通信调度系统及其实现方法。本发明具体是以如下技术方案实现的：

本公开提出一种可视化融合通信调度系统，所述系统包括视频采集客户端和服务器；

所述视频采集客户端包括视频采集器、可视化组件、视频流处理器和控制器，所述视频采集器、可视化组件和视频流处理器均与所述控制器连接；

所述视频采集器用于采集用户产生的视频，所述用户产生的视频可以用于触发通信调度，所述可视化组件用于与用户进行可视化交互，所述视频流处理器用于进行视频流处理，所述控制器中包括调度判断器，用于与殴视频采集器进行数据交互，根据数据交互结果触发可视化组件进行可视化交互，根据可视化交互结果与服务器交互；

所述服务器包括目标检测模块、手势识别模块、调度指令确定模块和调度模块；

所述目标检测模块用于基于所述视频采集客户端传输的数据进行目标检测；所述手势识别模块用于基于目标检测的结果进行手势识别；所述调度指令确定模块用于根据手势识别的结果确定调度指令；所述调度模块用于根据所述调度指令进行通信调度。

进一步地，所述调度模块通过控制所述视频采集客户端的视频流处理器进行通信调度，所述通信调度具体为视频融合相关调度。

进一步地，所述目标检测模块包括目标检测模型，所述目标检测模型包括特征提取网络、分割网络和分类网络，其中特征提取网络包括解密器和提取器，解密器用于目标密文进行解密得到解密图像，提取器用于对该解密图像进行多尺度提取得到特征图集；分割网络包括分割路由和多个分割器，该分割路由用于根据目标类别确定对特征图集进行分割的分割器，将该特征图集传输至该分割器进行分割处理，以得到分割结果；分类网络根据解密图像、特征图集和分割结果进行目标检测。

进一步地，所述目标检测模型基于下述训练方法得到：

获取训练样本集；

根据所述训练样本集训练第一神经网络，直至所述第一神经网络产生的损失小于第一损失阈值；所述第一神经网络包括特征提取网络和与所述特征提取网络连接的分割网络；

根据所述训练样本集和所述第一神经网络，训练第二神经网络，直至所述第二神经网络产生的损失小于第二损失阈值；所述第二神经网络为分类网络，所述特征提取网络和所述分割网络均与所述分类网络连接。

进一步地，所述特征提取网络用于对目标密文进行解密，并对解密结果进行多尺度特征提取得到特征图集；所述分割网络用于根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；所述分类网络用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果。

一种可视化融合通信调度实现方法，所述方法包括：

获取目标密文和目标类别；