[发明专利]使用视觉信息增强视频中人类说话者的语音信号的方法和系统

权利要求书

1.一种方法，包括：

获得视频，其中所述视频包括：显示至少一个人类说话者的面部或面部部分的图像序列，以及对应于所述视频的原始声轨；以及

使用计算机处理器处理所述视频，以通过检测与所述至少一个人类说话者的语音在听觉上无关的声音来产生所述至少一个人类说话者的增强语音信号，其中所述检测基于从所述图像序列导出的视觉数据和所述原始声轨。

2.根据权利要求1所述的方法，其中，所述处理包括移除与所述至少一个人类说话者的语音在听觉上无关的所述声音。

3.根据权利要求1所述的方法，其中，所述原始声轨和所述增强语音信号各自分别由二维(2D)离散时间-频率(DTF)变换表示，其中每个单元至少表示在给定时间范围、在给定频率范围的所述语音信号的幅度。

4.根据权利要求1所述的方法，其中，所述原始声轨和所述增强语音信号分别由第一短期傅立叶变换(STFT)或频谱图以及第二STFT或频谱图表示。

5.根据权利要求3所述的方法，其中，所述处理是通过所述原始声轨的所述2D DTF中的每个单元与2D滤波器的相应单元逐点相乘来执行的。

6.根据权利要求1至5中任一项所述的方法，其中，所述处理至少部分地使用神经网络来执行。

7.根据权利要求5所述的方法，其中，所述2D滤波器至少部分基于所述原始视频生成。

8.根据权利要求5或7中任一项所述的方法，其中，所述2D滤波器使用发声到听觉的映射来生成，所述映射将所述原始输入图像序列作为输入。

9.根据权利要求6所述的方法，其中，所述神经网络已经在具有相应的干净语音信号的一组视频上被训练。

10.根据权利要求5、7或8中任一项所述的方法，其中，所述2D滤波器至少部分地使用神经网络来计算。

11.根据权利要求10所述的方法，其中，所述神经网络在具有相应的干净语音信号的一组视频上被训练。

12.根据前述权利要求中任一项所述的方法，其中，与所述原始声轨相比，所述增强语音信号表现出较少的噪声。

13.根据前述权利要求中任一项所述的方法，其中，与所述原始声轨相比，所述增强语音信号表现出所述至少一个人类说话者与包括在所述原始声轨中的另一个说话者的更好的说话者分离。

14.一种系统，包括被配置成实现前述权利要求中任一项的至少一个计算机处理器。

15.一种非暂时性计算机可读介质，包括一组指令，所述一组指令当被执行时使得至少一个计算机处理器实现权利要求1至13中的任一项。