[发明专利]一种远程多目标的高效检测和识别方法

权利要求书

1.一种远程多目标的高效检测和识别方法，其特征在于，包括下列步骤：

S1、终端将视频流处理成终端图片集，对终端图片集密度设置上限；

S2、对终端图片集原始图片归一化成固定大小的样本图像；

S3、将样本图像的像素点作为节点，每个节点与周围节点的距离值构造该节点的邻接矩阵，用所有节点的邻接矩阵表示无向图的状态；

S4、每个节点的邻接矩阵使用频域方法得到对应节点的s纬特征向量，最终m个节点构成m×s纬的特征矩阵；

S5、预先构建完备向量化的标签字典，将特征矩阵通过每层图卷积不断更新自己，将输出的特征矩阵通过字典得到标签的预测值，每个标签对应一种检测结果；

S6、终端将标签的预测值通过阈值筛选，把高于阈值的标签定义为有效标签，最终从M个图片中筛选出包含有效标签的N个图片发送到服务器；

S7、服务器根据标签结果生成对应哈希码，通过哈希码进入不同的目标识别模型通道，将选择模型的时间复杂度由O(n)降为O(1)；

S8、服务器预先将所有的已知目标识别后存储成特征向量库，有效图片进入对应模型通道后解析成特征向量，和特征向量库比对后得到结果，最后将识别结果通过网络反馈到终端；

步骤S1具体包括：

对视频采集fps设置固定时间内计数器count以及设置计数器最大值limit；

将某一个时刻t_i视频流转换成BITMAP格式的图片文件P_i；

给线程设置可调周期T采集，可调周期T满足以下公式的动态平衡：

所述对终端图片集原始图片归一化成固定大小的样本图像具体为：

式中，x_i表示原图像的像素点，min(x)和max(x)分别表示图像像素的最大值和最小值，norm表示归一化后的值，范围在0到1之间；

所述构造节点的邻接矩阵具体为：

确定图的特征结点个数N和结点连接状态，其中图像的像素点作为特征节点个数；

依次将每个像素点作为中心节点，与周围节点做欧式距离，如果距离小于距离阈值s确定两个结点连接一条边；

使用深度优先搜索得到邻接矩阵A^N×N,其中A[i][j]状态值根据搜索结果得到：

上式中z_i和z_j表示两节点在矩阵中的坐标，σ²表示样本图像中所有像素点到最远像素点距离的平均值；

所述使用频域方法得到对应节点的s纬特征向量具体为：

先将图G＝(V,E)转换为拉普拉斯矩阵L＝D-A,其中G表示无向图，V表示节点的集合，E表示边的集合，D为对角度矩阵，将对角线上的元素定义为顶点的度，即该元素链接的元素的个数，A为邻接矩阵；

将拉普拉斯矩阵L中的所有特征值作为一个节点的特征向量X；

所述特征矩阵通过字典得到标签的预测值具体为：

s个特征值组合为s个长度为s的特征向量组成初始特征矩阵H⁰；

通过图卷积神经网络学习，使用特征矩阵进行传播每层特征：

上式中H表示每一层的特征矩阵，其中A为邻接矩阵，I为单位矩阵，既包括自身节点信息，也包括邻接节点的信息，为顶点度矩阵，σ为非线性激活函数，W为权重矩阵；

预先获得已知分类图片作为样本集，样本集通过图卷积训练构造完备学习字典，将字典中单词作为标签，再将标签向量化：

上式中m为字典中的单词，M为字典，F₁，…，F_k是单词中的k个特征，F_j为第j个特征，P()为特征值计算公式；

最后通过节点特征嵌入到softmax分类器查询词典得到每个标签的预测值。

2.根据权利要求1所述的一种远程多目标的高效检测和识别方法，其特征在于，所述终端将标签的预测值通过预测阈值筛选具体为：

边缘端通过限流算法得到的边缘端图片集，共有M张图片，将边缘端图片集中所有预测值大于预测阈值τ的标签保留下来作为text集合，低于预测阈值τ的标签忽略掉，最终text集合保留N张图片；

将发送到服务器的数据格式打包为{Text,Photo}的格式，其中Text为标签，Photo为图片。