[发明专利]一种音频处理方法、穿戴式设备

说明书

本申请提供一种音频处理方法、穿戴式设备，涉及音频处理领域。音频处理方法应用于穿戴式设备，音频处理方法包括：获取音频数据和图像数据；基于所述图像数据确定声源方向；根据所述声源方向分别对所述音频数据进行波束成形处理。通过图像数据确定声源方向，减少在多声源或噪音环境下确定声源方向的运算量和提高确定声源方向的准确率，进而提高对音频数据进行波束成形处理的效率与准确性。

技术领域

本申请涉及音频处理领域，具体而言，涉及一种音频处理方法、穿戴式设备。

背景技术

多麦克风阵列波束成形技术会先确定声源方向，目前，通常是对多麦克风阵列中各麦克风采集的音频数据进行处理，从中确定目标声源方向，然后再对麦克风采集的音频数据进行处理，对目标声源方向外的声音进行降噪，或对目标声源方向上的声音进行放大等，以使用户能够准确地收听目标声源方向的声音。例如，助听器可以基于多麦克风阵列波束成形技术过滤音频数据中的噪音，使助听器能够更为清晰地播放特定方向上的声音。

然而，当环境中存在噪声或存在多个声源，从多个麦克风分别采集的音频数据中识别目标声源方向时，因不同声音的干扰，会使得识别目标声源方向的运算量较大，且对目标声源方向的识别准确率会降低，从而导致设备的功耗增加，识别目标声源方向的延迟增加等问题。

发明内容

有鉴于此，本申请旨在提供一种音频处理方法、穿戴式设备，以减少识别声源方向的运算量，以及提高对声源方向的识别准确率。

第一方面，本申请实施例提供一种音频处理方法，应用于穿戴式设备，所述音频处理方法包括：获取音频数据和图像数据；基于所述图像数据确定声源方向；根据所述声源方向分别对所述音频数据进行波束成形处理。

本申请实施例中，通过图像数据确定声源方向，相较于从噪音或多个声源的音频数据中确定声源方向，可以减少穿戴式设备从存在噪音或多个声源的音频数据中识别声源方向的情况，以及结合图像数据可以确定的声源方向更为确定。由此，可以降低穿戴式设备确定声源方向的运算量与提高所确定的声源方向的准确性，从而降低穿戴式设备对音频数据进行处理的功耗以及提高穿戴式设备对音频数据进行处理的效率。

一实施例中，所述基于所述图像数据确定声源方向之前，所述音频处理方法还包括：基于所述图像数据构建地图；基于所述地图构建确定所述穿戴式设备的位姿；对应的，所述基于所述图像数据确定声源方向，包括：识别所述图像数据中的声源目标；根据所述声源目标、所述位姿和所述地图，确定所述声源方向。

本申请实施例中，利用图像数据构建的地图，再根据地图可以确定穿戴式设备的位姿，相较于直接利用声源目标与穿戴式设备之间的位置关系确定声源方向，使用位姿和地图可以使得确定的声源方向更为准确，进而使得穿戴式设备能够对音频数据进行更为准确地处理。

一实施例中，所述识别所述图像数据中的声源目标之后，所述方法还包括：识别所述图像数据中所述声源目标的类型；若确定所述声源目标的类型为人物，识别所述人物的口部特征；若所述口部特征表征所述人物未发声，将所述人物从所述声源目标中剔除。

对于人物，其发出声音时，通常会有口部特征的变化，本申请实施例中，利用人物的口部特征判断声源目标，可以提高判断声源目标的准确性，将未发声的人物从声源目标中剔除，可以使得未发生的人物不作为声源目标来确定声源方向，从而提高确定声源方向的准确性。

一实施例中，所述基于所述图像数据构建地图之后，所述方法还包括：获取所述穿戴式设备的惯性测量数据；基于所述惯性测量数据和所述地图确定所述穿戴式设备的位姿。

本申请实施例中，利用惯性测量数据辅助确定穿戴式设备的位姿，可以有效提高位姿的准确性。同时，在移动、旋转等场景下，使用惯性测量数据可以有助于实现穿戴式的快速定位与位姿确定，减少声源方向确定及对音频数据进行处理的延迟。