[发明专利]基于多输入单输出编解码模型的视频逻辑挖掘装置及方法

权利要求书

1.一种基于多输入单输出编解码模型的视频逻辑挖掘装置，其特征在于，包括：

同类感知编码器，用于对输入的多个目标视频进行编码和联合建模得到视频深度表征；

差异池化模块，用于对所述视频深度表征进行特征融合，通过所有特征的平均值和特征间特征残差进行池化建模；以及

多层解码器，用于对融合的特征进行多次解码并进行逻辑挖掘，以得到所述多个目标视频的视频逻辑挖掘结果。

2.根据权利要求1所述的基于多输入单输出编解码模型的视频逻辑挖掘装置，其特征在于，所述同类感知编码器进一步用于对每个所述目标视频进行多层编码，并在层间进行信息融合。

3.根据权利要求2所述的基于多输入单输出编解码模型的视频逻辑挖掘装置，其特征在于，所述同类感知编码器进一步用于对所述多个目标视频进行特征融合，以生成每个视频内的动作序列预测、环境序列预测，以及所有视频共有的内在逻辑序列。

4.根据权利要求1所述的基于多输入单输出编解码模型的视频逻辑挖掘装置，其特征在于，所述多层解码器中每一层解码器之间依次串联。

5.一种基于多输入单输出编解码模型的视频逻辑挖掘方法，其特征在于，执行如权利要求1-4任一项所述的视频逻辑挖掘装置，其中，所述方法包括以下步骤：

通过同类感知编码器对输入的多个目标视频进行编码和联合建模得到视频深度表征；

通过差异池化模块对所述视频深度表征进行特征融合，通过所有特征的平均值和特征间特征残差进行池化建模；以及

通过多层解码器对融合的特征进行多次解码并进行逻辑挖掘，以得到所述多个目标视频的视频逻辑挖掘结果。

6.根据权利要求5所述的基于多输入单输出编解码模型的视频逻辑挖掘方法，其特征在于，还包括：

通过所述同类感知编码器对每个所述目标视频进行多层编码，并在层间进行信息融合。

7.根据权利要求6所述的基于多输入单输出编解码模型的视频逻辑挖掘方法，其特征在于，还包括：

通过同类感知编码器对所述多个目标视频进行特征融合，以生成每个视频内的动作序列预测、环境序列预测，以及所有视频共有的内在逻辑序列。

8.根据权利要求5所述的基于多输入单输出编解码模型的视频逻辑挖掘方法，其特征在于，所述多层解码器中每一层解码器之间依次串联。