[发明专利]一种视频信息处理方法、装置及系统

权利要求书

1.一种视频信息处理方法，其特征在于，包括：

提取各视频帧的特征；

判定所述特征的类型，所述类型反映所述特征与参考特征之间的时域相关程度，

所述判定所述特征的类型，具体包括：

分别将所述各视频帧中的每帧作为当前帧并执行,

根据所述各视频帧中与当前帧属于同一视频序列的参考帧的特征，确定当前帧的特征的参考特征，所述视频序列中的帧是按照时间排序的,

根据当前帧的特征与当前帧的特征的参考特征，判定当前帧的特征的类型；

采用预定的匹配于所述类型的编码方式，为所述特征编码，得到编码后特征，

所述编码方式包括以下至少一种:

对当前帧的特征进行独立编码，对当前帧的特征与其参考特征之间的残差进行编码，将当前帧的参考特征的编码结果作为当前帧的编码结果，

所述对当前帧的特征与其参考特征之间的残差进行编码，具体包括：

根据率失准优化模型，在预定的各残差编码模式中，确定所述残差匹配的残差编码模式，所述各残差编码模式对应的编码损失程度不同，

采用确定的残差编码模式，对所述残差进行编码，

其中，所述率失准优化模型是根据视觉分析任务的结果准确率的损失函数确定的，所述损失函数根据所述编码损失程度确定；

将所述编码后特征发送给服务器，以便于所述服务器对所述编码后特征解码后用于所述视觉分析任务。

2.如权利要求1所述的方法，其特征在于，所述提取各视频帧的特征，具体包括：

接收一个或多个终端采集的视频序列；

提取所述视频序列包含的各视频帧内至少部分区域的特征。

3.如权利要求1所述的方法，其特征在于，当前帧的参考帧是基于对当前帧所属的在视频序列中的帧进行顺序参考或者自适应参考确定的，所述自适应参考根据特征间距离进行。

4.如权利要求1所述的方法，其特征在于，所述根据当前帧的特征与当前帧的特征的参考特征，判定当前帧的特征的类型，具体包括：

计算当前帧的特征与当前帧的特征的参考特征之间的差异程度表征值；

根据计算出的差异程度表征值，判定当前帧的特征的类型。

5.如权利要求1所述的方法，其特征在于，所述在预定的各残差编码模式中，确定所述残差匹配的残差编码模式，具体包括：

将所述残差划分为多个子向量；

在预定的各残差编码模式中，分别确定每个所述子向量匹配的残差编码模式；

采用确定的残差编码模式，对所述残差进行编码，具体包括：

通过分别采用每个所述子向量匹配的残差编码模式对对应的子向量进行编码，实现对所述残差进行编码。

6.如权利要求1所述的方法，其特征在于，按照如下方法确定所述损失函数：

根据指定的概率分布，确定待编码特征与待匹配特征之间的距离的概率分布，作为第一概率分布，其中，所述待匹配特征根据视觉分析任务样本得到；

根据先验概率，确定所述待编码特征对应的解码后特征与所述待匹配特征之间的距离的概率分布，作为第二概率分布；

根据所述第一概率分布、所述第二概率分布，以及带结果标签的视觉分析任务，分别计算视觉分析任务在基于编码前的所述待编码特征执行时的结果准确率，以及所述视觉分析任务在基于解码后的所述待编码特征执行时的结果准确率；

根据分别计算的结果准确率，确定所述损失函数。

7.如权利要求1所述的方法，其特征在于，所述为所述特征编码，具体包括：

为所述特征进行熵编码；

所述率失准优化模型是根据所述损失函数和所述熵编码对应的编码码率得到的。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

将辅助信息编码后发送给所述服务器，以便于所述服务器解码获得所述辅助信息，并根据所述辅助信息对所述编码后特征进行解码；

其中，所述辅助信息包括以下至少一种：表示所述特征的类型的信息；表示所述参考特征的信息。