[发明专利]基于麦克风阵列和深度相机组件输入的扬声器波束控制

说明书

一种音频设备包括扬声器阵列和控制器，该控制器用于对扬声器阵列的音频输出进行波束控制，以将声音定位在音频设备周围的局部区域中的不同位置。音频设备还包括麦克风阵列或一组相机，其被配置为检测音频设备周围的局部区域中的对象，例如人。根据麦克风阵列或一组相机捕获的数据，音频设备确定对象在局部区域中的位置，并将扬声器阵列的音频输出朝向对象的确定位置控制。当对象在局部区域内移动时，音频设备动态地控制音频输出以随对象一起移动。

相关申请的交叉引用

本申请要求2019年3月18日提交的第62/820，187号美国申请和2019年8月16日提交的第16/542，500号美国申请的优先权，出于所有目的，其内容通过引用整体结合于此。

背景

本公开一般涉及播放音频数据，更具体地说，涉及将音频数据的输出引导到在局部区域中识别的对象。

传统扬声器被配置为向特定位置或区域输出音频。因此，当用户离开扬声器被配置为输出音频的位置时，用户无法听到扬声器输出的音频。在没有重新定位扬声器或者必须配置不同的扬声器以向不同的位置提供音频输出的情况下，这限制了用户在无法听到扬声器的音频输出之前可以移动的区域。

概述

根据本发明，提供了一种设备，包括：多个扬声器；多个麦克风，其被配置为从所述多个麦克风周围的局部区域捕获音频数据；深度相机组件，其被配置为捕获所述局部区域的视频数据，并确定深度信息，所述深度信息标识从所述深度相机组件到所述局部区域内的位置的深度；控制器，其耦合到所述多个麦克风、所述深度相机组件和所述多个扬声器，所述控制器被配置成：确定所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的距离；从所述深度相机组件捕获的视频数据中识别所述多个麦克风在所述局部区域中捕获音频数据的位置内的对象；从所述深度相机组件捕获的深度信息确定从所述深度相机组件到识别的对象的深度；将所述扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且在距离所述深度相机组件的所述深度处的所识别的对象。

优选地，其中，将所述扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且在距离所述深度相机组件的所述深度处的所识别的对象包括：对于所述多个扬声器中的每一个，确定从法向于扬声器的中心的轴到所述多个麦克风在所述局部区域中捕获音频数据的位置的角度；为所述多个扬声器中的每一个确定加权函数，扬声器的所述加权函数基于为该扬声器确定的角度，并且在所确定的距离和所确定的深度处具有最大值；对于所述多个扬声器中的每一个，将对应于所述扬声器的加权函数应用于所述扬声器的音频输出。

方便地，其中，将所述扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且在距离所述深度相机组件的所述深度处的所识别的对象还包括：基于由所述控制器确定的概率和从法向于位于所述多个扬声器的中心的扬声器的中心的轴到所述多个麦克风在所述局部区域中捕获音频数据的位置的角度的乘积来确定阴影函数(shading function)；对所述多个扬声器的音频输出应用所述阴影函数。

优选地，以下中的任一项成立：a)其中所述深度相机组件包括相隔特定距离且并排放置的一对相机；或者b)其中所述深度相机组件包括相机和深度传感器；或者c)其中所述深度相机组件包括相机，并且所述控制器被配置为根据所述相机捕获的视频数据来确定从所述深度相机组件到所识别的对象的深度；或者d)其中所述多个麦克风包括一阶差分麦克风阵列；在这种情况下，可选地，其中所述一阶差分麦克风阵列包括中心麦克风和与所述中心麦克风具有相等距离的其他麦克风；或者e)其中所述多个麦克风包括二阶差分麦克风阵列，在这种情况下，可选地，其中所述二阶差分麦克风阵列包括以六边形图案排列的至少六个麦克风。