[发明专利]多模式语音定位

权利要求书

1.一种由计算系统执行的方法，所述方法包括：

针对监视物理环境的一个或多个相机的相机阵列中的每个相机：

接收由所述相机捕获的图像数据，以及

基于所述图像数据来确定由所述相机捕获的每个人类面部的定位，每个人类面部的所述定位包括所述人类面部相对于参考坐标系的位置和取向；

针对监视所述物理环境的两个或更多个麦克风的麦克风阵列中的每个麦克风：

接收由所述麦克风捕获的音频数据，以及

变换由所述麦克风捕获的所述音频数据以获得在多个频率间隔中离散化的、所述音频数据的频域表示；

向在先训练的音频源定位分类器提供输入数据，所述输入数据包括：

由所述麦克风阵列中的每个麦克风捕获的所述音频数据的所述频域表示，以及

由所述相机阵列中的每个相机捕获的每个人类面部的所述定位，其中，每个人类面部的所述定位表示候选音频源；以及

基于所述输入数据从所述音频源定位分类器接收来自一个或多个候选音频源中的、被估计为所述音频数据所源自的所述人类面部的识别出的音频源的指示。

2.根据权利要求1所述的方法，其中，所述识别出的音频源是由所述音频源定位分类器基于针对所述频域表示的所述多个频率间隔中的每个频率间隔识别出的估计的置信度的组合来识别的。

3.根据权利要求1所述的方法，还包括：

将所述识别出的音频源归因于所述音频数据所源自的身份。

4.根据权利要求3所述的方法，还包括：

针对每个人类面部，通过使用在先训练的面部识别分类器基于所述图像数据来确定所述人类面部的身份；并且

其中，将所述识别出的音频源归因于所述身份包括：将指示所述身份的数据标签与所述音频数据相关联。

5.根据权利要求3所述的方法，还包括：

通过使用在先训练的语音识别分类器基于所述音频数据来确定所述识别出的音频源的身份；并且

其中，将所述识别出的音频源归因于所述身份包括：将指示所述身份的数据标签与所述音频数据相关联。

6.根据权利要求3所述的方法，其中，将所述识别出的音频源归因于所述身份包括：将指示所述身份的数据标签存储为所述音频数据的元数据。

7.根据权利要求6所述的方法，还包括：

存储另一数据标签，所述另一数据标签指示被估计为所述音频数据所源自的所述人类面部的所述识别出的音频源的所述定位的所述位置和/或所述取向。

8.根据权利要求1所述的方法，其中，所述音频数据表示由所述麦克风阵列中的每个麦克风捕获的音频数据流的时间间隔；并且

其中，所述识别出的音频源的所述指示是由所述音频源定位分类器针对所述时间间隔来估计的。

9.根据权利要求1所述的方法，还包括：

生成波束形成器，所述波束形成器被配置为通过将被估计为所述音频数据所源自的所述人类面部的所述识别出的音频源的所述位置和/或所述取向定为目标，从所述音频数据中去除噪声和干扰。

10.根据权利要求1所述的方法，其中，每个人类面部相对于所述参考坐标系的所述定位是以六个自由度来确定的，所述六个自由度包括三个自由度的人类面部或头部的所述位置以及三个自由度的人类面部或头部的所述取向。