[发明专利]手势通信方法、装置、存储介质及电子装置

说明书

本发明实施例提供了一种手势通信方法、装置、存储介质及电子装置，其中，该方法包括：在第一终端和第二终端进行视频通话或音频通话时，获取第一终端或第二终端发送的第一请求，第一请求用于请求创建手势识别服务；响应于第一请求，创建手势识别服务；获取第一终端采集的一组视频帧中识别出的一组手势；通过手势识别服务，对第一终端采集的一组视频帧中识别出的一组手势进行语义识别，得到一组手势所表示的目标语义；将目标语义发送给第二终端。通过本发明，解决了相关技术中存在的手势通信主要依赖于特定设备而导致成本高的技术问题，达到了降低手势通信过程中的成本的技术效果。

技术领域

本发明涉及通信领域，具体而言，涉及一种手势通信方法、装置、存储介质及电子装置。

背景技术

手势在生活中经常用到，手势使用者如特殊人群聋哑人士在与正常人的沟通交流中存在着较大的障碍。他们的手势作为一种交流语言（手语）极其难懂，非专业人士，正常人很难准确的识别聋哑人的手势：聋哑用户拨打各类公共服务电话（119，110，120等）时，公共服务人员无法直接理解聋哑用户想要表达的内容；聋哑用户参与线上教学时，聋哑用户无法通过简单的方式与老师进行实时交互；聋哑用户与正常用户打电话无法进行直接的正常交流等。这需要对聋哑人的手势（手语）进行识别和翻译以及传递通讯。还有一些特定应用场景下的手势使用者如军事手语，特殊行业专用手语，也需要进行相应的识别和翻译。

但目前对手势识别多数都依赖特定设备如穿戴设备手套等。这些设备价格昂贵，只适用于一定范围内的交互，还经常存在时间、空间等限制，不是直接自然的交互和通讯；还有一部分基于视觉的手势识别，依赖特定采集器如体感器去收集手势数据和分析数据，进行基本的电话通话，依赖终端设备，对终端处理有较高要求，不够经济、便捷，信息及数据更新不及时，通讯体验较差。

针对相关技术中存在的手势通信主要依赖于特定设备而导致成本高的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种手势通信方法、装置、存储介质及电子装置，以至少解决相关技术中存在的手势通信主要依赖于特定设备而导致成本高的技术问题。

根据本发明实施例的一个方面，提供了一种手势通信方法，包括：在第一终端和第二终端进行视频通话或音频通话时，获取所述第一终端或所述第二终端发送的第一请求，其中，所述第一请求用于请求创建手势识别服务，其中，所述手势识别服务用于对所述第一终端采集到的视频帧中识别出的手势进行语义识别；响应于所述第一请求，创建所述手势识别服务；在所述视频通话或音频通话中，获取所述第一终端采集的一组视频帧中识别出的一组手势；通过所述手势识别服务，对所述第一终端采集的一组视频帧中识别出的一组手势进行语义识别，得到所述一组手势所表示的目标语义；将所述目标语义发送给所述第二终端。

在一个示例性实施例中，所述方法还包括：获取所述第一终端或所述第二终端发送的第二请求，其中，所述第二请求用于请求创建目标数据通道；响应于所述第二请求，创建所述目标数据通道，其中，所述目标数据通道为所述第一终端或所述第二终端允许使用的通道；所述获取所述第一终端或所述第二终端发送的第一请求，包括：获取所述第一终端或所述第二终端在所述目标数据通道上传输的所述第一请求。

在一个示例性实施例中，所述获取所述第一终端或所述第二终端发送的第二请求，包括：获取所述第一终端或所述第二终端通过接入控制实体SBC/P-CSCF、会话控制实体I/S-CSCF以及服务控制节点向媒体服务器发送的所述第二请求；所述响应于所述第二请求，创建所述目标数据通道，包括：响应于所述第二请求，通过所述媒体服务器创建所述目标数据通道，其中，所述目标数据通道用于在所述第一终端或所述第二终端与所述媒体服务器之间传输数据。