[发明专利]一种可视化融合通信调度系统及其实现方法

权利要求书

1.一种可视化融合通信调度系统，其特征在于，所述系统包括视频采集客户端和服务器；

所述视频采集客户端包括视频采集器、可视化组件、视频流处理器和控制器，所述视频采集器、可视化组件和视频流处理器均与所述控制器连接；

所述视频采集器用于采集用户产生的视频，所述用户产生的视频可以用于触发通信调度，所述可视化组件用于与用户进行可视化交互，所述视频流处理器用于进行视频流处理，所述控制器中包括调度判断器，用于与视频采集器进行数据交互，根据数据交互结果触发可视化组件进行可视化交互，根据可视化交互结果与服务器交互；

所述服务器包括目标检测模块、手势识别模块、调度指令确定模块和调度模块；

所述目标检测模块用于基于所述视频采集客户端传输的数据进行目标检测；所述手势识别模块用于基于目标检测的结果进行手势识别；所述调度指令确定模块用于根据手势识别的结果确定调度指令；所述调度模块用于根据所述调度指令进行通信调度；

所述调度模块通过控制所述视频采集客户端的视频流处理器进行通信调度，所述通信调度具体为视频融合相关调度；

所述目标检测模块包括目标检测模型，所述目标检测模型包括特征提取网络、分割网络和分类网络，其中特征提取网络包括解密器和提取器，解密器用于目标密文进行解密得到解密图像，提取器用于对该解密图像进行多尺度提取得到特征图集；分割网络包括分割路由和多个分割器，该分割路由用于根据目标类别确定对特征图集进行分割的分割器，将该特征图集传输至该分割器进行分割处理，以得到分割结果；分类网络根据解密图像、特征图集和分割结果进行目标检测；

其中视频采集客户端采集视频，对所述视频进行间隔采样得到多帧图像；所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；

其中，所述在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：

S1.计算各帧图像i(iN)的与下一张相邻的图像的曝光特征差值α_i，其中，曝光特征由公式计算得到，其中，N_i,t_i,s_i,c_i,Δ分别表示第i个图像的镜头的焦距/镜头通光直径得出的相对值、曝光时间、感光灵敏度、曝光补偿、预设常数；

S2.计算各个图像i(iN)的与下一张相邻的图像的关联特征差值β_i，其中所述关联特征差值由公式得到，其中i,L_i(k),k,Γ分别表征图像编号，图像的灰度级分布统计函数，所述灰度级分布统计函数的阶数、总阶数；

S3.计算特征值T(i)＝k₁α_i+k₂(β_i-1)，其中T,k₁,k₂分别表征特征值，第一权值和第二权值；

S4.将特征值最小的图像确定为目标图像；

对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：根据公式得到目标密文，其中S_in(k)，α，β，λ，γ，S_o分别表示第一特征序列，第一固设参数，第二固设参数，第三固设参数，第四固设参数和目标密文。

2.根据权利要求1所述的系统，其特征在于，所述目标检测模型基于下述训练方法得到：

获取训练样本集；

根据所述训练样本集训练第一神经网络，直至所述第一神经网络产生的损失小于第一损失阈值；所述第一神经网络包括特征提取网络和与所述特征提取网络连接的分割网络；

根据所述训练样本集和所述第一神经网络，训练第二神经网络，直至所述第二神经网络产生的损失小于第二损失阈值；所述第二神经网络为分类网络，所述特征提取网络和所述分割网络均与所述分类网络连接。