[发明专利]对用户设备的用户界面进行控制的方法

说明书

在现有的参与者之间经由其用户设备之间的通信网络通过发送和接收视频来进行建立的通信事件。新的参与者的用户界面在该参与者满足后期加入条件的情况下被控制成一开始在后期加入模式下操作。响应于初始持续时间到期，用户界面替代地自动切换到主动发言模式。

技术领域

本发明涉及通信事件，其是通过经由该通信事件的参与者所操作的用户设备之间的通信网络来发送和接收视频流，以及在这些用户设备处显示从这些视频流导出的视频图像来进行的。

背景技术

互联网协议语音(“VoIP”)通信系统允许设备的用户经由诸如互联网之类的基于分组的通信网络来进行诸如通话之类的通信事件。为了使用 VoIP，用户在用户设备上安装并执行客户端软件。客户端软件提供VoIP连接以及诸如注册和认证之类的其他功能。在使用客户端进行的通话中，音频数据在客户端之间被发送和接收以使得参与通话的用户能够听见彼此。

除了语音通信之外，客户端还可以提供视频通话功能，以使得携带参与者的视频图像的视频流可以经由网络而在客户端之间被发送和接收。除了听到他们的声音之外，参与者还能够查看其他参与者的视频图像。由于面部表情也被传送，因此这在参与者之间提供了一种更加自然的通信形式，从而使得视频通话与面对面的对话更加类似。视频图像可以是通话视频图像，即，在其设备上捕获的用户自身的图像，但是它们也可以为了实现其他通信事件模态而是其他类型的视频图像(即，其他类型的视频内容)，例如屏幕共享、文档共享、白板共享等。例如，所述视频流中的至少一个视频流可以携带当前正在参与者的显示器之一上显示的内容的视频图像，以使得它对其他参与者是可见的。

发明内容

建立的通信事件是通过经由在其用户设备之间的通信网络来发送和接收视频流而在现有的参与者之间进行的。新的参与者的用户界面被控制成在该参与者满足后期加入条件的情况下，一开始以后期加入模式来操作。响应于初始持续时间到期，用户界面替代地自动切换到主动发言模式。

本发明的第一方面针对一种对由建立的通信事件的新的参与者操作的用户设备的用户界面进行控制的方法，所述建立的通信事件是通过经由由多个现有参与者操作的用户设备之间的通信网络来发送和接收视频流而在所述现有参与者之间进行的，该方法包括以下步骤：

接收关于新的参与者加入所述建立的通信事件的通知；

基于所接收的通知，确定新的参与者是否满足后期加入条件；以及

如果确定满足后期加入条件，则：在初始持续时间内，控制用户界面在后期加入模式下操作，并且响应于初始持续时间到期，控制用户界面替代地在主动发言模式下操作(即，从后期加入模式切换到主动发言模式)。

控制用户界面在主动发言模式下操作包括基于在主动发言的参与者之一的用户设备上生成的音频数据为新的参与者选择：主动发言的参与者的视频流之一、或者表示主动发言的参与者的化身图像，由此使得用户界面显示所选择的化身图像或从所选择的流中导出的视频图像。

术语“主动发言者模式”和“跟随行动模式”在本申请中互换地使用来指代这样的模式，其中对视频图像或化身的显示主要但不一定排他地由主动发言者识别来驱动，其是通过向参与者的音频数据应用语音检测实现的。

控制用户界面以在后期加入模式下操作可以包括非发言参与者的视频流之一或非发言参与者的化身图像，由此使得用户界面显示所选择的化身图像或从所选择的非发言参与者的流导出的视频图像。

视频图像可以是“运动图像”，即在通信事件期间快速连续播出以给出运动的印象的一系列的帧(即，静态图像)，或者其可以是来自运动图像的静态图像(即，从运动图像导出的静态图像)。除非另外指出，否则在下文中对“图像”的任何引用指的是该含义下的视频图像。短语“显示视频流”指的是显示从视频流导出的视频图像。通信事件的视频图像指的是从通信事件的视频流之一中导出的视频图像。静态图像是可以作为后期加入体验的一部分来显示的潜在视图。例如，最近的高活动视图内容共享的屏幕捕获。