[发明专利]用于减少协作平台上的延迟的方法和系统

说明书

提供了用于减少协作平台上的延迟的系统和方法。协作平台涉及显示器、主持者设备、一个或多个成员设备以及与显示器、主持者设备和一个或多个成员设备通信的接收器。为了减少协作平台的延迟，接收器基于从显示器接收的用户输入以及用户输入的用户类型生成叠加图像，基于叠加图像生成叠加后的图像，并且传输叠加后的图像以用于显示，而协作应用程序基于用户输入生成(一个或多个)新的真实图像以用于显示。生成的叠加后的图像可以指示实际用户输入以及使用外推和/或机器学习预测的用户输入。

相关申请的交叉引用

本申请要求2019年11月27日提交的美国临时专利申请号62/941,677的优先权，其全部内容通过引用并入本文。

技术领域

本公开总体上涉及用于基于用户输入生成叠加图像以用于至少临时显示以减少协作平台上的延迟的方法和系统。

背景技术

用于通过有线连接和通过网络无线投射内容的方法和产品在本领域中是众所周知的。一个示例是由Wi-Fi联盟认证的无线显示标准，该标准定义了一种用于在使用Wi-Fi CERTIFIED Wi-Fi的设备之间显示多媒体的协议。实施Wi-Fi Direct，提供用于协商视频功能、设置内容保护、流式传输内容和维护视频会话的操作。与蓝牙技术不同，Wi-Fi CERTIFIED允许发送高达1080p HD或甚至更高分辨率的视频，并且因此适用于视频流和屏幕到屏幕的内容投射。例如，可以将视频内容从笔记本电脑无线地流式传输到电视显示器。

例如，当对投射在未存储原始数据文件的显示器(例如，计算设备)上的内容进行编辑时，在协作期间出现内容投射系统的不希望的延迟。例如，在课堂场合中，教师的台式机可能具有存储在其上的原始数据文件，该原始数据文件可以使用本领域已知的内容投射系统投射在课堂前面的显示器上，该显示器对学生的课堂可见。接收器通常用于在教师的台式机或学生的平板电脑和显示器之间传输数据。例如，接收器可以经由USB缆线耦合到显示器以传送用户输入数据，并且进一步经由HDMI缆线耦合到显示器以传送(一个或多个)图像。此外，接收器可以通过网络(例如，本地网络、公司网络或互联网)与教师的台式机和学生的平板电脑进行无线通信。

当存储在教师的台式机上的原始文件(例如数学问题)投射到显示器(例如触摸屏)上时，学生可以尝试通过直接在显示器上绘图来回答数学问题。当学生开始在显示器上绘制数字“3”时，为了使数字“3”的形成开始出现在显示器上，表示用户输入的输入数据经由USB缆线从显示器传送到接收器。然后接收器经由WiFi将用户输入的数据传输到教师的台式机，在教师的台式机中存储有原始文件。然后教师的台式机上的处理器基于用户输入数据修改原始文件，例如，在学生绘制数字“3”时将数字“3”添加到数学问题，从而生成新的真实图像，该新的真实图像经由WiFi传输到接收器。然后，接收器经由HDMI缆线将新的真实图像传输到显示器，使得在学生绘制数字“3”时在显示器上显示数字“3”的形成。当学生在显示器上绘制时，从显示器到接收器到教师的台式机，回到接收器，并且然后最终再回到显示器的数据流不断发生，并导致协作内容投射系统的延迟。

因此，希望提供用于减少协作内容投射系统的延迟的系统和方法。

发明内容

本发明涉及用于基于用户输入生成叠加图像以用于至少临时显示以减少协作平台上的延迟的系统和方法。例如，根据本发明的一个方面，提供了一种用于减少协作平台上的延迟的方法。该方法包括由第一设备(例如接收器)从第三设备(例如主持者设备)接收第一真实图像；由第一设备接收指示第二设备(例如经由USB缆线的显示器)上的用户输入的用户输入数据；由第一设备将用户输入数据传输到第三设备；由第一设备基于用户输入数据确定叠加图像；由第一设备基于叠加图像和第一真实图像确定叠加后的图像；以及由第一设备(例如经由HDMI缆线)将叠加后的图像传输到第二设备，以(例如经由触摸屏显示器)使叠加后的图像显示在第二设备上。