[发明专利]从视频中检测目标对象的方法、装置和电子设备

权利要求书

1.一种从视频中检测目标对象的方法，包括：

获取视频的当前帧的当前特征图和先前帧的先前特征图；

基于所述当前特征图和所述先前特征图之间的相关性对所述当前特征图进行加权以获得注意力图；

将所述注意力图与所述当前特征图融合获得最终特征图；以及

基于所述最终特征图从所述当前帧中检测目标对象。

2.根据权利要求1所述的从视频中检测目标对象的方法，其中，获取视频的当前帧的当前特征图和先前帧的先前特征图包括：

获取所述视频的当前帧和先前帧；

通过卷积神经网络从所述先前帧获得所述先前特征图；以及

通过所述卷积神经网络从所述当前帧获得所述当前特征图。

3.根据权利要求1所述的从视频中检测目标对象的方法，其中，基于所述当前特征图和所述先前特征图之间的相关性对所述当前特征图进行加权以获得注意力图包括：

将所述当前特征图通过第一卷积层以获得第一特征图；

将所述先前特征图通过第二卷积层以获得第二特征图；

基于所述第一特征图和所述第二特征图获得用于表示所述当前特征图和所述先前特征图之间的相关性的注意力矩阵。

4.根据权利要求3所述的从视频中检测目标对象的方法，其中，基于所述当前特征图和所述先前特征图之间的相关性对所述当前特征图进行加权以获得注意力图进一步包括；

将所述当前特征图通过第三卷积层以获得第三特征图；以及

以所述注意力矩阵对所述第三特征图进行加权以获得所述注意力图。

5.根据权利要求1所述的从视频中检测目标对象的方法，其中，所述先前帧是所述当前帧的前一帧。

6.根据权利要求1所述的从视频中检测目标对象的方法，其中，将所述注意力图与所述当前特征图融合获得最终特征图包括：

将所述注意力图以预定权重加权后与所述当前特征图融合以获得所述最终特征图。

7.根据权利要求6所述的从视频中检测目标对象的方法，其中，所述预定权重通过训练得到。

8.根据权利要求7所述的从视频中检测目标对象的方法，其中，所述预定权重的训练过程包括：

获取训练视频的当前帧的当前训练特征图和先前帧的先前训练特征图；

基于所述当前训练特征图和所述先前训练特征图之间的相关性对所述当前训练特征图进行加权以获得训练注意力图；

将所述训练注意力图以初始权重加权后与所述当前训练特征图融合以获得所述最终训练特征图；基于所述最终训练特征图计算损失函数值；以及

基于所述损失函数值通过梯度下降更新所述初始权重以获得所述预定权重。

9.根据权利要求1所述的从视频中检测目标对象的方法，其中，所述目标对象的检测结果进一步用于所述目标对象的对象跟踪和/或对象分割。

10.一种视频中的目标对象的分割方法，包括：

获取视频的当前帧的当前特征图和先前帧的先前特征图；

基于所述当前特征图和所述先前特征图之间的相关性对所述当前特征图进行加权以获得注意力图；

将所述注意力图与所述当前特征图融合获得最终特征图；

基于所述最终特征图从所述当前帧中检测目标对象；以及

基于所述目标对象的检测结果生成掩码以分割所述目标对象。

11.一种视频中的目标对象的跟踪方法，包括：

获取视频的当前帧的当前特征图和先前帧的先前特征图；

基于所述当前特征图和所述先前特征图之间的相关性对所述当前特征图进行加权以获得注意力图；

将所述注意力图与所述当前特征图融合获得最终特征图；

基于所述最终特征图从所述当前帧中检测目标对象；以及

基于所述目标对象的检测结果跟踪所述目标对象。