[发明专利]使用计算机视觉控制视频数据内容

说明书

一种控制视频数据的方法包括将参与者的输入视频数据接收到计算机处理器中；分析所述输入视频数据以识别所述参与者做出的手势或动作；根据所述参与者的所述手势或动作选择叠加图像；将所述叠加图像合并到所述输入视频数据中，从而生成包括所述叠加图像的输出视频数据；以及将所述输出视频数据传输给一个或多个其他参与者的设备。所述控制视频数据的方法解决了用户在视频会议中无法用语言快速回应的问题。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种使用计算机视觉控制视频数据内容的方法和系统。

背景技术

在Zoom或 Microsoft Teams 等会议中的虚拟协作，严重依赖于在参与者之间网络摄像头播放馈送。这些馈送中的视野和在接收端查看它们的大小并不能提供太多阅读肢体语言或非语言提示的用途。

为了解决缺乏非语言提示和无法在不分散参与者注意力的情况下说话的问题，Zoom 和 Teams 等协作软件允许用户们“举手”或向正在共享的视频源添加表情符号。要调用这些功能，用户必须点击软件图形用户界面 (graphical user interface，GUI) 中的相应图标。此外，参与者可以利用即时消息或聊天侧边栏来提问或提供更新，例如“我马上回来”。然而，这些功能都不像非语言提示或侧边栏发声那样可以快速回应或自然地使用，如果与所有成员进行协作，就会发生无法用语言快速回应的情况。

发明内容

为了解决用户在视频会议中无法用语言快速回应的问题，本公开提供一种方法、存储介质和系统，用计算机视觉控制视频数据内容，来解决用户在视频会议中无法用语言快速回应的问题。技术方案如下：

本公开提供了一种控制视频数据的方法，包括将参与者的输入视频数据接收到计算机处理器中；分析输入视频数据以识别参与者做出的手势或动作；根据参与者的手势或动作选择叠加图像；将叠加图像合并到输入视频数据中，从而生成包括叠加图像的输出视频数据；以及将输出视频数据传输给一个或多个其他参与者的设备。

在一些实施例中，所述方法还包括分析输入视频数据的视野；确定参与者不再处于输入视频数据的视野中；以及向一个或多个参与者设备发送关于参与者的状态或在线情况的指示。

在一些实施例中，所述方法还包括根据所述参与者在所述输入视频数据中做出的所述动作或手势的位置，将叠加图像合并到输出视频数据中的相应位置中。

在一些实施例中，所述方法还包括根据参与者选择的输出视频数据中的位置将叠加图像合并到输出视频数据中的位置中。

在一些实施例中，所述方法包括从参与者接收参与者想要记录个人手势或动作的输入的指示；从输入的视频数据中捕捉参与者做出的个人手势或动作；并将个人手势或动作存储在数据库中。

在一些实施例中，所述方法还包括从参与者接收个人叠加图像；将个人叠加图像存储在数据库中；将来自参与者的个人叠加图像与从参与者接收到的个人手势或动作相关联；并且在检测到个人手势或动作时，将个人叠加图像合并到输出视频数据中。

在一些实施例中，所述方法还包括将音频数据与参与者做出的手势或动作相关联；将音频数据传输至一个或多个参与者设备。

在一些实施例中，所述方法还包括接收参与者做出的第二手势或第二动作；以及根据第二手势或第二动作将第二叠加图像并入输出视频数据中。

在一些实施例中，所述方法还包括在预设时间段内从输出视频数据中去除叠加图像。

在一些实施例中，所述方法还包括确定输入视频数据包括手语；并将手语的文本翻译合并到输出视频数据中。

在一些实施例中，所述方法还包括根据虚拟会议的类型或与虚拟会议相关联的参与者的类型选择适当的叠加图像。

在一些实施例中，所述方法还包括根据叠加图像与输出视频数据的背景之间的对比度、颜色、亮度和视觉复杂度差异中的一项或多项选择叠加图像的版本。