[发明专利]基于视频直播的信息交互方法、装置及电子设备

说明书

本申请实施例提供了一种基于视频直播的信息交互方法、装置及电子设备，涉及计算机技术领域。该方法包括：服务器接收视频直播过程中第一终端实时采集的用户的视频直播图像并进行识别，确定当前手势表达对应的手势语义信息，根据手势语义信息确定相匹配的多媒体交互信息呈现在视频直播界面上。本申请通过对视频直播图像进行手势识别，确定用户的当前手势表达对应的手势语义信息，进而确定手势语义信息相匹配的多媒体交互信息提供给用户，使手语姿势信息的展现方式更加多元化，提升了视频直播过程中终端用户之间的交互效果。

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种基于视频直播的信息交互方法、装置及电子设备。

背景技术

随着网络技术和通信技术的迅速发展，基于移动终端的视频直播平台得到了普遍应用。利用视频直播平台，主播用户可以通过移动终端采集视音频信息向观看直播的用户进行直播。移动终端在采集视音频信息时，通过摄像头采集视频直播图像，通过音频采集模块采集语音信息，将视频和语音进行合成，得到视音频文件向观看直播的用户进行展示。

然而，对于语言表达有障碍的聋哑人主播，无法通过声音表达自己想要表达的内容，只能通过手语来表达意思，现有技术中通过对手语进行识别，展示对应的文字信息，展现方式比较单一，从而影响主播和观众之间的互动效果。

发明内容

本申请提供了一种基于视频直播的信息交互方法、装置及电子设备，可以解决现有技术中存在的问题。

本申请实施例提供的具体技术方案如下：

一方面，本申请实施例提供了一种基于视频直播的信息交互方法，该方法包括：

接收视频直播过程中第一终端实时采集的用户的视频直播图像；

将接收到的各视频直播图像分别进行手势识别，基于各视频直播图像的手势识别结果确定各视频直播图像中所述用户的当前手势表达对应的手势语义信息；

根据所述手势语义信息，确定相匹配的多媒体交互信息，并将多媒体信息呈现在视频直播界面上。

另一方面，本申请实施例提供了一种基于视频直播的信息交互方法，该方法包括：

实时采集视频直播过程中用户的视频直播图像；

将所述视频直播图像发送至服务器，以使所述服务器对接收到的各视频直播图像分别进行手势识别，基于各视频直播图像的手势识别结果确定各视频直播图像中所述用户的当前手势表达对应的手势语义信息，根据所述手势语义信息，确定相匹配的多媒体交互信息；

接收所述服务器发送的所述多媒体交互信息，并将所述多媒体交互信息通过视频直播界面呈现给所述用户。

本发明实施例提供了一种基于视频直播的信息交互装置，该装置包括：

图像接收模块，用于接收视频直播过程中第一终端实时采集的用户的视频直播图像；

识别模块，用于将接收到的各视频直播图像分别进行手势识别，基于各视频直播图像的手势识别结果确定各视频直播图像中所述用户的当前手势表达对应的手势语义信息；

匹配模块，用于根据所述手势语义信息，确定相匹配的多媒体交互信息，呈现在视频直播界面上。

本发明实施例还提供了一种基于视频直播的信息交互装置，该装置包括：

图像采集模块，用于实时采集视频直播过程中用户的视频直播图像；

图像发送模块，用于将所述视频直播图像发送至服务器，以使所述服务器将接收到的各视频直播图像分别进行手势识别，基于各视频直播图像的手势识别结果确定各视频直播图像中所述用户的当前手势表达对应的手势语义信息；根据所述手势语义信息，确定相匹配的多媒体交互信息；