[发明专利]一种语音数据处理方法以及装置

说明书

本申请公开了一种音频数据处理方法以及装置，该方法包括：获得原始视频数据对应的原始音频数据；获得原始视频数据中的音频相关运动特征数据，音频相关运动特征数据指的是与原始视频数据对应的发声事件相关联的运动状态数据；根据音频相关运动特征数据，从原始音频数据中分析获得目标音频数据；按照预定的音频加工方式，对目标音频数据进行加工。通过使用本方法，可利用原始视频数据中的音频相关运动特征数据，从当前场景中的原始音频数据中获得对应的目标音频数据，并结合具体场景对该目标音频数据进行数据增强或数据抑制处理，该方法将图像数据应用到语音分离的场景中，使得语音分离的过程更加高效准确。

技术领域

本申请涉及计算机技术领域，具体涉及一种语音数据处理方法。本申请同时涉及一种语音数据处理装置以及一种电子设备。

背景技术

在多数语音交互场景中，采集的音频信号中除了包含目标说话人的语音之外，还包括他人说话的语音干扰和噪音干扰，语音分离的目标就是从这些干扰中分离出目标说话人的语音。

根据干扰的不同，语音分离可分为如下三种：当干扰为噪声时，语音分离的过程可称为“语音增强”(Speech Enhancement)；当干扰为他人说话的语音时，语音分离的过程可称为“多说话人分离”(Speaker Separation)；当干扰为目标说话人自己声音的反射波时，语音分离的过程可称为“解混响”。

根据传感器或麦克风的数量不同，语音分离可分为单声道分离方法(单个麦克风)和阵列分离方法(多个麦克风)。单声道分离方法中较为典型的为语音增强和计算听觉场景分析(CASA)。阵列分离方法中，由两个或更多的麦克风组成的阵列使用空间滤波器，通过恰当的阵列结构增强从特定的方向到达的信号，进而削减来自其它方向的干扰。

然而，现有的语音分离方法仅基于语音或噪声的音频特征数据而实现，语音分离过程未与发声场景进行有效融合，使得发声场景下的语音分离效率和准确率受到影响。

发明内容

本申请实施例提供一种音频数据处理方法、装置以及电子设备，以解决现有的语音分离过程因未与发声场景进行有效融合而影响语音分离效率和准确率的问题。

本申请实施例提供一种音频数据处理方法，包括：

获得原始视频数据对应的原始音频数据；

获得所述原始视频数据中的音频相关运动特征数据，所述音频相关运动特征数据指的是，与所述原始视频数据对应的发声事件相关联的运动状态数据；

根据所述音频相关运动特征数据，从所述原始音频数据中分析获得目标音频数据；

按照预定的音频加工方式，对所述目标音频数据进行加工。

可选的，所述根据所述音频相关运动特征数据，从所述原始音频数据中分析获得目标音频数据，包括：基于所述原始音频数据，获得与所述音频相关运动特征数据相匹配的目标音频特征数据；

将所述原始音频数据中与所述目标音频特征数据相对应的音频数据确定为目标音频数据。

可选的，所述基于所述原始音频数据，获得与所述音频相关运动特征数据相匹配的目标音频特征数据，包括：

从所述原始音频数据对应的多个音频特征数据中获得与所述音频相关运动特征数据相匹配的目标音频特征数据。

可选的，所述获得所述原始视频数据中的音频相关运动特征数据，包括：获得所述原始视频数据中的唇部运动特征数据；

所述从所述原始音频数据对应的多个音频特征数据中获得与所述音频相关运动特征数据相匹配的目标音频特征数据，包括：从所述原始音频数据对应的音频特征数据中获得与所述唇部运动特征数据相匹配的目标音频特征数据。

可选的，所述唇部运动特征数据包括：

唇部震动频率数据；