[发明专利]获取目标声音的方法、装置、电子设备及存储介质

权利要求书

1.一种获取目标声音的方法，其特征在于，包括：

获取音视频；

基于所述音视频获取目标人的人脸特征以及对应于目标人的声音数据。

2.根据权利要求1所述的获取目标声音的方法，其特征在于，

所述音视频为录制完成的音视频，

所述基于所述音视频获取目标人的人脸特征以及对应于目标人的声音数据，具体包括：

对所述音视频中的音频流进行聚类处理，获得各个声纹特征对应的声音数据；

识别所述音视频中的视频流中的所有人脸特征；

根据所述音视频的视频流和音频流得到所述声纹特征和所述人脸特征的对应关系，进而获取目标人的人脸特征以及对应于目标人的声音数据。

3.根据权利要求2所述的获取目标声音的方法，其特征在于，

所述对所述音视频中的音频流进行聚类处理，获得各个声纹特征对应的声音数据，具体包括：

对所述音视频中的音频流进行声音分离处理，得到包括多个单人声音的音频流；

对于包括多个单人声音的音频流中的各个音频流段分别提取声纹特征；

根据各个音频流段的声纹特征对所述音频流进行聚类处理，获得各个声纹特征对应的声音数据。

4.根据权利要求3所述的获取目标声音的方法，其特征在于，所述对所述音视频中的音频流进行声音分离处理之后还包括：

对所述音频流进行降噪处理。

5.根据权利要求1所述的获取目标声音的方法，其特征在于，

所述音视频为实时录制的音视频，

所述基于所述音视频获取目标人的人脸特征以及对应于目标人的声音数据，具体包括：

识别获取的音视频段中的视频流中的所有人脸特征；

判断获取的所述音视频段中的音频流中是否有声音，当该音视频段中的音频流中有声音时，对该音视频段中的视频流进行识别获取说话人的人脸特征；

判断说话人是否为单人以及该音视频段中的音频流中的声音是否为单人声音；

当说话人为单人且该音视频段中的音频流中的声音为单人声音时，将该音视频段中的音频流中的声音数据与获取的说话人的人脸特征相对应；

当说话人为多人且该音视频段中的音频流中的声音为多人声音时，对该音视频段中的音频流进行分离处理得到包括多个单人声音的音频流，根据已获取的声音数据与人脸特征的对应关系，将能够与说话人的人脸特征相关联的该音视频段中的音频流中的声音数据与人脸特征相对应；

基于获取的各个音视频段获取目标人的人脸特征以及对应于目标人的声音数据。

6.根据权利要求5所述的获取目标声音的方法，其特征在于，

所述对该音视频段中的视频流进行识别获取说话人的人脸特征，具体包括：

对该音视频段中的视频流进行识别获取说话人的人脸特征以及说话人所在的位置，并通过声源定位对说话人所在的位置进行确认。

7.一种获取目标声音的装置，其特征在于，包括：

第一获取模块，用于获取音视频；

第二获取模块，用于基于所述音视频获取目标人的人脸特征以及对应于目标人的声音数据。

8.根据权利要求7所述的获取目标声音的装置，其特征在于，所述音视频为录制完成的音视频，所述第二获取模块具体用于，

对所述音视频中的音频流进行聚类处理，获得各个声纹特征对应的声音数据；

识别所述音视频中的视频流中的所有人脸特征；

根据所述音视频的视频流和音频流得到所述声纹特征和所述人脸特征的对应关系，进而获取目标人的人脸特征以及对应于目标人的声音数据。

9.一种用于获取目标声音的电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器，其中存储了计算机可读代码，所述计算机可读代码当由所述一个或多个处理器执行时进行如下处理：

获取音视频；

基于所述音视频获取目标人的人脸特征以及对应于目标人的声音数据。

10.一种计算机存储介质，其特征在于，其中存储了计算机可读代码，所述计算机可读代码当由一个或多个处理器执行时进行如下处理：

获取音视频；

基于所述音视频获取目标人的人脸特征以及对应于目标人的声音数据。