[发明专利]用于视频图像处理的方法、装置和计算机设备

说明书

本申请提供一种用于压缩神经网络模型的方法、装置和计算机设备。所述方法包括：从与神经网络相关联的多维张量对应的超级块中，识别至少一个块。对与所述超级块相关联的权重系数集进行均一化。基于已均一化的权重系数集，压缩神经网络模型。

本申请要求2020年1月10日在美国专利商标局提交的第62/959,631号美国临时专利申请以及2020年11月2日提交的第17/086,642号美国正式专利申请的优先权，所述两个申请的全部内容通过引用并入本申请中。

技术领域

本申请总体上涉及数据处理领域，特别是涉及用于视频图像处理的方法、装置和可读存储介质。

背景技术

ISO/IEC MPEG(JTC 1/SC 29/WG 11)(国际标准化组织/国际电工委员会运动图像专家组(联合技术委员会1/第29分委员会/第11工作组))一直在积极地寻找未来视频编解码技术标准化的潜在需求，以用于视觉分析和理解。ISO于2015年采纳视觉搜索紧凑描述符(Compact Descriptors for Visual Search，CDVS)标准作为静止图像标准，该CDVS标准提取特征表示，用于进行图像相似性匹配。CDVS标准被列为MPEG 7的第15部分和ISO/IEC15938-15，并且于2018年定稿，该CDVS标准提取视频片段的全局和局部的、手动设计的和基于深度神经网络(DNN)的特征描述符。DNN在大范围视频应用中的成功，诸如语义分类、目标检测/识别、目标跟踪、视频质量增强等，形成了压缩DNN模型的强烈需求。因此，MPEG正在积极致力于神经网络的编码表示标准(Coded Representation of Neural Networkstandard，NNR)，该标准对DNN模型进行编码以节省存储空间和计算量。

目前存在几种学习紧凑DNN模型的方法。这些方法的目标是去掉不重要的权重系数，并且假设权重系数的值越小，重要性越低。但现有的方法所学习的DNN模型在网络精度和计算量方面仍有待提高。

发明内容

本申请实施例涉及用于压缩神经网络模型的方法、装置、系统和计算机可读存储介质。

根据一个方面，提供了一种用于压缩神经网络模型的方法。该方法可以包括：从与神经网络相关联的多维张量所对应的超级块中，识别至少一个块。对与所述超级块相关联的权重系数集进行均一化，其中，所述权重系数集包括所述至少一个块的权重系数。基于已均一化的权重系数集，压缩神经网络模型。

根据另一个方面，提供了一种用于压缩神经网络模型的计算机系统。该计算机系统可以包括至少一个处理器、至少一个计算机可读存储器、至少一个计算机可读有形存储设备、以及程序指令，所述程序指令存储在至少一个存储设备中的至少一个上，用于由至少一个处理器中的至少一个经由至少一个存储器中的至少一个来执行，由此该计算机系统能够执行一种方法。该方法可以包括：从与神经网络相关联的多维张量所对应的超级块中，识别至少一个块。对与所述超级块相关联的权重系数集进行均一化，其中，所述权重系数集包括所述至少一个块的权重系数。基于已均一化的权重系数集，压缩神经网络模型。

根据再一个方面，提供了一种用于压缩神经网络模型的装置，所述装置包括：识别模块，用于从与神经网络相关联的多维张量所对应的超级块中，识别至少一个块；均一化模块，用于对与所述超级块相关联的权重系数集进行均一化，其中，所述权重系数集包括所述至少一个块的权重系数；以及压缩模块，用于基于已均一化的权重系数集，压缩神经网络模型。

根据另一个方面，提供了一种非易失性计算机可读存储介质，其上存储有用于压缩神经网络模型的计算机程序，所述计算机程序被配置为使得至少一个计算机处理器执行所述压缩神经网络模型的方法。