[发明专利]一种线上面审处理方法、装置、存储介质及设备

权利要求书

1.一种线上面审处理方法，其特征在于，包括：

获取面审过程中录制的第一音频和第二音频，所述第一音频是虚拟客服问问题时的音频，所述第二音频是客户回答问题时的音频；

通过对所述第一音频和所述第二音频进行音频分离处理和声纹提取处理，分别得到第一声纹特征和第二声纹特征；

将所述第一声纹特征分别与所述虚拟客服的声纹特征和所述客户的声纹特征进行对比，以及将所述第二声纹特征与所述客户的声纹特征进行对比，基于对比结果判断是否存在旁人。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一音频和所述第二音频进行音频分离处理和声纹提取处理之前，包括：

将所述第一音频和所述第二音频切分为预设时长的小片段。

3.根据权利要求1所述的方法，其特征在于，所述基于对比结果判断是否存在旁人，包括：

若所述第一声纹特征分别与所述虚拟客服的声纹特征和所述客户的声纹特征之间的相似度均小于预设阈值，确定存在旁人；

若所述第二声纹特征与所述客户的声纹特征之间的相似度小于所述预设阈值，确定存在旁人。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一音频和所述第二音频进行音频分离处理，包括：

基于人声分离模型对所述第一音频和所述第二音频进行音频分离处理；其中，所述人声分离模型是通过在TasNet模型的编码器中增加SE-Block，并将所述TasNet模型的分离器中的深度长短期记忆网络模块替换成时间卷积网络模块而得到的。

5.根据权利要求1所述的方法，其特征在于，所述第一声纹特征和所述第二声纹特征基于以下方式获得：

将通过对所述第一音频进行音频分离处理而提取出的人声转换成第一频谱图，再基于声纹特征提取模型提取所述第一频谱图的特征作为第一声纹特征；

将通过对所述第二音频进行音频分离处理而提取出的人声转换成第二频谱图，再基于所述声纹特征提取模型提取所述第二频谱图的特征作为第二声纹特征；

其中，所述声纹特征提取模型包括至少两个不同大小的卷积核。

6.根据权利要求5所述的方法，其特征在于，所述声纹特征提取模型还包括CBAM模块，所述CBAM模块包括通道注意力模块和空间注意力模块，其中，所述通道注意力模块对w×h×c维的输入特征图进行全局平均池化，得到1×1×c维的第一特征图，再将所述第一特征图进行卷积得到第二特征图，经过激活函数确定所述第二特征图中每个通道的权重，最后将所述权重与所述输入特征图进行相乘，得到通道特征图；

所述空间注意力模块对w×h×c维的输入特征图进行全局平均池化，得到w×h×1维的第三特征图，再将所述第三特征图进行卷积得到第四特征图，经过激活函数确定所述第四特征图中每个特征点的权重，最后将所述权重与所述输入特征图进行相乘，得到空间特征图。

7.根据权利要求6所述的方法，其特征在于，所述声纹特征提取模型是基于中心损失函数训练得到的。

8.一种线上面审处理装置，其特征在于，包括：

音频获取模块，用于获取面审过程中录制的第一音频和第二音频，所述第一音频是虚拟客服问问题时的音频，所述第二音频是客户回答问题时的音频；

声纹提取模块，用于通过对所述第一音频和所述第二音频进行音频分离处理和声纹提取处理，分别得到第一声纹特征和第二声纹特征；

对比判断模块，用于将所述第一声纹特征分别与所述虚拟客服的声纹特征和所述客户的声纹特征进行对比，以及将所述第二声纹特征与所述客户的声纹特征进行对比，基于对比结果判断是否存在旁人。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

10.一种电子设备，其特征在于，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。