[发明专利]一种视频的语音降噪方法和装置

说明书

本申请公开了一种视频的语音降噪方法和装置，其中方法包括：利用预设的场景主题识别网络模型，确定当前降噪处理周期中的待处理视频对应的场景是否是以人为主题的场景；当所述场景是以人为主题的场景时，对所述待处理视频对应的音频输入数据进行音轨分解，得到所述场景中所有发声者各自对应的音频数据；采用人工智能的方式，确定所述场景中的主要发声者；按照仅保留所述主要发声者的语音的策略，根据所述音频数据，得到所述待处理视频对应的音频输出数据。采用本发明，可以有效抑制视频会话场景中背景噪声和其它人声干扰。

技术领域

本发明涉及计算机应用技术，特别是涉及一种视频的语音降噪方法和装置。

背景技术

在很多视频会话场景(如视频会议、与机器人交流)中，对会话声音进行降噪处理，是保障会话质量的必要技术之一。现有的语音降噪技术通常是针对语音中的环境噪声进行抑制，而在实际应用中，其他的人声干扰，有时候比环境噪声更会影响视频会话的质量。

目前，尚未提出一种能够同时有效抑制视频会话场景中背景噪声和其它人声干扰的技术方案。

发明内容

有鉴于此，本发明的主要目的在于提供一种视频的语音降噪方法和装置，可以有效抑制视频会话场景中背景噪声和其它人声干扰。

为了达到上述目的，本发明提出的技术方案为：

一种视频的语音降噪方法，包括：

利用预设的场景主题识别网络模型，确定当前降噪处理周期中的待处理视频对应的场景是否是以人为主题的场景；

当所述场景是以人为主题的场景时，对所述待处理视频对应的音频输入数据进行音轨分解，得到所述场景中所有发声者各自对应的音频数据；采用人工智能的方式，确定所述场景中的主要发声者；按照仅保留所述主要发声者的语音的策略，根据所述音频数据，得到所述待处理视频对应的音频输出数据。

较佳地，所述确定当前降噪处理周期中的待处理视频对应的场景是否是以人为主题的场景包括：

对于所述待处理视频中的每一帧画面，利用所述场景主题识别网络模型，识别该帧画面是否以人为主题；

当以人为主题的画面在所述待处理视频中所占的比例达到预设的比例阈值时，确定所述场景是以人为主题的场景。

较佳地，所述采用人工智能的方式，确定所述场景中的主要发声者包括：

利用预设的人脸识别网络模型，对所述待处理视频中的画面进行人脸识别，并对人脸识别所得到的每张人脸的人脸关键点数据进行重组，得到相应人脸的数据矩阵；

对于每张所述人脸，将相应的所述数据矩阵输入到预设的脸部动作识别网络模型中处理，得到相应人脸的动作类别；所述动作类别包括：面向镜头讲话、非面向镜头讲话和沉默；

根据所述人脸的动作类别，确定所述场景中的主要发声者。

较佳地，所述根据每张所述人脸的动作类别，确定所述场景中的主要发声者包括：

如果所述待处理视频中仅有一人面向镜头讲话，则将该面向镜头讲话的人作为所述主要发声者；

如果所述待处理视频中有多人面向镜头讲话，则将面向镜头讲话的人中距离镜头最近的人D_near以及该D_near周围预设范围内的所有面向镜头讲话的人，作为所述主要发声者。

较佳地，所述场景主题识别网络模型、所述人脸识别网络模型和所述脸部动作识别网络模型均利用卷积神经网络模型训练得到。

较佳地，所述方法进一步包括：

当所述场景不是以人为主题的场景时，直接将所述待处理视频对应的音频输入数据，作为所述待处理视频对应的音频输出数据。