[发明专利]对残差网络的改进方法、电子设备和存储介质

说明书

本发明公开对残差网络的改进方法、电子设备和存储介质，其中，一种对残差网络的改进方法，其中残差网络具有基本模块，方法包括：在每个阶段，将基本模块均替换为瓶颈模块，并将瓶颈模块中的标准卷积替换为深度卷积，并对替换后的瓶颈模块进行置换维度；在除最后一个阶段之外的其他阶段，将残差网络的下采样层与残差块分离形成改进后的残差网络。本实施例的方法首先从网络的深度和宽度的角度系统地研究模型缩放。本申请实施例设计了一个完全由标准卷积网络模块构建的新主干，通过显著增加层数，同时保持网络复杂性遵循深度优先规则，并将其放大以获得更深的模型族被称为DF‑ResNets的模型。可以在性能和网络复杂性上实现比以前SV系统更有利的权衡。

技术领域

本发明属于残差网络技术领域，尤其涉及对残差网络的改进方法、电子设备和存储介质。

背景技术

说话人验证旨在根据他或她的声音特征来验证一个人的身份。近年来，深度学习的蓬勃发展在SV领域取得了巨大的成功。为了进一步提高SV系统的性能和鲁棒性，研究人员在不同方面做出了巨大努力，包括网络主干，池化机制和损失函数。

关于网络主干，各种架构已经激增，例如一维和二维卷积神经网络、自注意力网络。然而，以前作品中的大多数设计选择都是临时的和启发式的。SV任务特有的原则性方法是否存在用于设计具有更好性能-复杂性权衡的架构的问题很少被讨论。对于基于ResNet(一种残差网络)的SV系统，人们通常遵循与“K.He,X.Zhang,S.Ren,and J.Sun,“Deepresidual learning for image recognition,”in CVPR,2016,pp.770–778”相同的扩展规则。相关技术提出了两个模型，ECAPA-TDNN(C＝512)和ECAPATDNN(C＝1024)，只需将通道数加倍即可。尽管如此，发明人发现，就网络的深度和宽度而言，哪个维度在SV任务中发挥更重要的作用尚不清楚。发明人认为，当前在基于DNN的SV系统中使用的扩展规则并不是最优的，应该有一种更有原则和独特的方式来设计和扩展网络，以便SV任务可以实现更好的性能和网络复杂性。

发明内容

本发明实施例提供一种对残差网络的改进方法、电子设备和存储介质，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种对残差网络的改进方法，其中所述残差网络具有基本模块，所述方法包括：在每个阶段，将基本模块均替换为瓶颈模块，并将所述瓶颈模块中的标准卷积替换为深度卷积，并对替换后的瓶颈模块进行置换维度；在除最后一个阶段之外的其他阶段，将所述残差网络的下采样层与残差块分离形成改进后的残差网络。

第二方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的对残差网络的改进方法的步骤。

第三方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的对残差网络的改进方法的步骤。

本实施例的方法首先从网络的深度和宽度的角度系统地研究模型缩放，并发现深度比网络的宽度对于说话人验证任务更重要。基于这一观察，本申请实施例设计了一个完全由标准卷积网络模块构建的新主干，通过显著增加层数，同时保持网络复杂性遵循深度优先规则，并将其放大以获得更深的模型族被称为DF-ResNets的模型。可以在性能和网络复杂性上实现比以前SV系统更有利的权衡。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。