[发明专利]光流生成装置和方法

权利要求书

1.一种光流生成装置，其特征在于，包括：生成对抗网络；

所述生成对抗网络包括第一生成器、判别器和第一损失函数模块；

所述第一生成器包括第一神经网络，所述第一生成器输入两帧图像，输出对应的第一预测光流；

所述第一生成器的输出端连接所述判别器的输入端；

所述判别器包括第二神经网络，所述判别器输入两帧图像和光流，所述判别器输入的光流包括训练集对应的样本光流或第一预测光流；所述样本光流为真实光流，所述判别器用于判断所述第一预测光流的真实性；当所述判别器输入的光流为所述第一预测光流，所述判别器的输出判定所述判别器输入的光流为所述样本光流时，所述判别器认为所述第一预测光流等同于所述样本光流；

所述第一生成器的所述第一神经网络的权重参数通过训练得到，所述第一损失函数模块用于训练所述第一生成器，在训练所述第一生成器时，所述第一损失函数模块输入所述第一预测光流和对应的所述样本光流，所述第一损失函数模块输出端输出所述第一预测光流和对应的所述样本光流形成的第一损失函数，所述第一生成器根据所述第一损失函数训练所述第一神经网络的权重参数；当所述判别器认为所述第一预测光流等同于所述样本光流时，所述第一生成器的训练完成。

2.如权利要求1所述的光流生成装置，其特征在于：在训练阶段，所述第一生成器输入的两帧图像和所述判别器输入的两帧图像相同且为训练集中的样本对应的两帧图像，所述两帧图像为在时间上具有前后顺序的连续两帧图像；

所述光流为不同时间上的所述两帧图像中的物体在所述两帧图像中形成的位移。

3.如权利要求1所述的光流生成装置，其特征在于：在训练所述第一生成器时，所述判别器的输入端输入两帧图像、所述第一预测光流和对应的所述样本光流；

所述判别器的输出端输出对所输入的光流的真实性的判断。

4.如权利要求3所述的光流生成装置，其特征在于：所述生成对抗网络包括第二生成器，所述第二生成器包括第三神经网络，所述第二生成器输入两帧图像，输出对应的第二预测光流；

所述第三神经网络是所述第一神经网络进行知识蒸馏形成的规模变小的学生网络。

5.如权利要求4所述的光流生成装置，其特征在于：所述第三神经网络是把所述第一神经网络的每一层通道进行按比例缩减形成的神经网络。

6.如权利要求4所述的光流生成装置，其特征在于：所述生成对抗网络还包括用于训练所述第二生成器的第三损失函数模块；在训练所述第二生成器时，所述第一神经网络的权重参数和所述第二神经网络的权重参数都固定，所述第三损失函数模块输入所述第一预测光流和所述第二预测光流，所述第三损失函数模块输出端输出所述第一预测光流和所述第二预测光流形成的第三损失函数，所述第二生成器根据所述第三损失函数训练所述第三神经网络的权重参数。

7.如权利要求6所述的光流生成装置，其特征在于：在训练所述第二生成器时，所述判别器的输入端输入两帧图像、所述第一预测光流和所述第二预测光流；

所述判别器的输出端输出对所输入的光流的真实性的判断。

8.如权利要求1所述的光流生成装置，其特征在于：所述判别器的第二神经网络的权重参数通过训练得到，所述生成对抗网络还包括用于训练所述判别器的第二损失函数模块。

9.如权利要求4所述的光流生成装置，其特征在于：所述第一神经网络和所述第三神经网络的网络结构都为FlowNet2.0。

10.如权利要求1所述的光流生成装置，其特征在于：所述第二神经网络的网络结构包括Resnet-50，Flownet2.0，mobilenet，densenet，inception。