[发明专利]基于多输入单输出编解码模型的视频逻辑挖掘装置及方法

说明书

本发明公开了一种基于多输入单输出编解码模型的视频逻辑挖掘模型及方法，其中，视频逻辑挖掘模型包括：同类感知编码器，用于对输入的多个目标视频进行编码和联合建模得到视频深度表征；差异池化模块，用于对视频深度表征进行特征融合；多层解码器，用于对融合的特征进行多次解码并进行逻辑挖掘，以得到多个目标视频的视频逻辑挖掘结果。该视频逻辑挖掘模型通过差异池化模块可以在提高准确率的同时，大大降低了模型的训练复杂度和资源消耗，并通过多层解码器对对解码结果进行精炼，通过多次的精炼和总结，大大提高了模型精度，从而有效提高视频逻辑挖掘的效率和精度，简单易实现。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于多输入单输出编解码模型的视频逻辑挖掘模型及方法。

背景技术

挖掘视频中存在的逻辑关系，随着自动驾驶、游戏智能等泛化人工智能的发展，变得越来越重要：一个可以自动根据交通规则示例视频，自动总结驾驶逻辑的自动驾驶系统，将极大地减轻人类工程师进行驾驶逻辑总结的负担；一个可以自己根据用户对战数据学习游戏对战策略的游戏智能，将能够产生更加强大的游戏智能。更加一般地，这些技术意味着，可以让人工智能具有了一定的学习能力。

但是目前的相关工作中，首先，面对多视频特征融合，采用关系网络池化，将造成巨大的时空开销，随着视频数目的增加，该开销以平方量级增加；此外，在解码阶段，单层解码器无法最大程度地利用编码器输出，同时无法对产生地结果进行自我纠正。

发明内容

本发明旨在解决背景技术中所提到的目前方法存在的问题：降低多视频特征融合的代价，同时最大限度利用融合后特征，将“自我纠正”机制引入模型中。

为此，本发明的一个目的在于提出一种基于多输入单输出编解码模型的视频逻辑挖掘模型。

本发明的另一个目的在于提出一种基于多输入单输出编解码模型的视频逻辑挖掘方法。

为达到上述目的，本发明一方面实施例提出了一种基于多输入单输出编解码模型的视频逻辑挖掘模型，包括：同类感知编码器，用于对输入的多个目标视频进行编码和联合建模得到视频深度表征；差异池化模块，用于对所述视频深度表征进行特征融合；多层解码器，用于对融合的特征进行多次解码并进行逻辑挖掘，以得到所述多个目标视频的视频逻辑挖掘结果。

本发明实施例的基于多输入单输出编解码模型的视频逻辑挖掘模型，通过差异池化模块可以在提高准确率的同时，大大降低了模型的训练复杂度和资源消耗，并通过多层解码器对对解码结果进行精炼，通过多次的精炼和总结，大大提高了模型精度，从而有效提高视频逻辑挖掘的效率和精度，简单易实现。

另外，根据本发明上述实施例的基于多输入单输出编解码模型的视频逻辑挖掘模型还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述同类感知编码器进一步用于对每个所述目标视频进行多层编码，并在层间进行信息融合。

进一步地，在本发明的一个实施例中，所述同类感知编码器进一步用于对所述多个目标视频进行特征融合，以生成每个视频内的动作序列预测、环境序列预测，以及所有视频共有的内在逻辑序列。

进一步地，在本发明的一个实施例中，所述多层解码器中每一层解码器之间依次串联。

为达到上述目的，本发明另一方面实施例提出了一种基于多输入单输出编解码模型的视频逻辑挖掘方法，执行如上述实施例所述的视频逻辑挖掘模型，其中，所述方法包括以下步骤：通过同类感知编码器对输入的多个目标视频进行编码和联合建模得到视频深度表征；通过差异池化模块对所述视频深度表征进行特征融合；通过多层解码器对融合的特征进行多次解码并进行逻辑挖掘，以得到所述多个目标视频的视频逻辑挖掘结果。