[发明专利]调节视频会议空间一致性方法、系统、设备、装置及介质

说明书

本文公开的实施例涉及空间一致性调节。公开了一种用于调节视频会议中的空间一致性的方法。该方法包括将由视频端点设备采集的视觉场景展开为至少一个直线场景，该视频端点设备被配置成以全向方式采集视觉场景、检测至少一个直线场景与听觉场景之间的空间一致性，该听觉场景由相对于视频端点设备定位的音频端点设备所采集。该空间一致性为听觉场景与至少一个直线场景之间校准的程度并且响应于所检测的空间一致性低于阈值而调节空间一致性。还公开了相应的系统和计算机程序产品。

相关申请的交叉引用

本申请要求2014年11月19日提交的中国专利申请 No.201410670297.2和2014年12月2日提交的美国临时专利申请 No.62/086,235的优先权，该申请的内容通过引用被整体结合于此。

技术领域

本文公开的示例实施例一般涉及音频内容处理，更特别地，涉及用于调节特别是在视频会议系统中的空间一致性的方法和系统。

背景技术

当实施视频会议时，视觉信号与听觉信号一起被生成且从呼叫的一端传输至其他(一个或多个)端，使得当一个或多个与会者正在发言时，在其他(一个或多个)端产生的声音应当被同步化且同时播放。有可以存在于视频会议中的在音频和视频之间的两种类型的差异：时间上的差异和空间一致性上的差异。音频和视频流之间的时间上的差异导致同步问题，例如从发言的与会者传出的声带话语(vocal utterance)(例如语音)可能不与每个与会者的嘴型同步。另一方面，空间一致性描述正在被播放的声场如何与正在显示的视觉场景相匹配。可替代地，空间一致性可以定义听觉场景和视觉场景之间校准的程度。本文描述的示例实施例目的在于调节视频会议中的空间一致性，使得听觉场景与视觉场景彼此匹配，从而为多端的与会者提供身临其境的视频会议体验。

如果音频信号是在大多数现存的视频会议系统中广泛采用的单声道格式，则用户不需要关注上述空间一致性问题。但是，如果至少两个声道被采用(例如立体声)则空间一致性可以发生。现今，声音可以被多于两个麦克风所采集，这将以诸如5.1或7.1环绕格式之类的多声道格式进行传输，并被(一个或多个)终端用户的多个换能器表现及播放。在通常的会议环境中，多个与会者围绕用于采集其语音的设备并且每个与会者可以被视为单个音频对象，其在发言时产生一系列音频信号。

如在本文中使用的，术语“音频对象”指的是在声场中存在限定时间期间的个体音频元素。音频对象可以是动态或静态的。例如，与会者可以围绕音频采集设备行走，且相应的音频对象的位置也相应地改变。

对于视频会议和各种其它涉及空间一致性问题的应用而言，不一致的听觉-视觉表现导致不自然的感受，这可能导致会议体验降低。一般而言，小于5°的差异可以被视为可接受的，因为这样的角度差异对于大多数用户而言并不明显。如果角度差异多于20°，大多数用户都会显著地觉得不舒服。

有鉴于此，本领域有需要引入调节听觉场景以与视觉场景校准的方案，或者是调节视觉场景以与听觉场景校准的方案。

发明内容

为了解决前述和其它潜在的问题，本文公开的示例实施例提出了用于调节视频会议系统中的空间一致性的方法和系统。

在一个方面，本文公开的示例实施例提供了用于调节视频会议中的空间一致性的方法。该方法包括这样的步骤：将由视频端点设备采集的视觉场景展开为至少一个直线场景。该视频端点设备被配置成以全向方式采集视觉场景。附加步骤包括检测至少一个直线场景与听觉场景之间的空间一致性，该听觉场景由相对于视频端点设备定位的音频端点设备所采集。该空间一致性为听觉场景与至少一个直线场景之间校准的程度并且响应于所检测的空间一致性低于阈值而调节空间一致性。关于该方面的实施例进一步包括相应的计算机程序产品。