[发明专利]基于人工智能的桌面交互方法

说明书

本申请公开了一种基于人工智能的桌面交互方法，包括：当使用者的手势正确时，检测手的位置；匹配所述手的位置图像与预设图像；获取匹配成功的所述预设图像对应的第一文本信息；识别手指关键点的周围第二文本信息；及匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。本申请提出一种利用人工智能技术来识别动作和手势的新的交互方式，并将这种交互方式应用到桌面学习和娱乐场景。能够自动识别使用者的手势并根据手势触发相应的应用程序。

技术领域

本申请涉及人工智能领域，具体而言，涉及一种基于人工智能的桌面交互方法。

背景技术

现有的桌面交互方法中，不能自动识别使用者的手势，并且根据手势触发交互程序。

发明内容

根据本申请的一个方面，提供了一种基于人工智能的桌面交互方法，包括：

当使用者的手势正确时，检测手的位置；

匹配所述手的位置图像与预设图像；

获取匹配成功的所述预设图像对应的第一文本信息；

识别手指关键点的周围第二文本信息；及

匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。

可选地，当使用者的手势正确时，检测手的位置之前还包括：

判断手是否完全至于桌面；及

当手完全至于桌面时，判断手势是否正确。

可选地，判断手是否完全至于桌面包括：

手机、平板或者其他摄像装置实时采集连续图像，将图像输入训练好的深度感知模型，深度感知模型可以判断手是否在桌面，当手完全置于桌面上时，返回结果1，并进入到下一步；当手未完全置于桌面上时，返回结果0，并重复判断手是否完全至于桌面。

可选地，判断手势是否正确包括：

当感所述深度知模型判断手处于桌面时，将当前帧的图像输入训练好的手势识别模型，手势识别模型可以判断该手势是否是正确操作手势，当图像中手势是正确手势时，返回结果1，并进入到下一步；当图像中手势是错误手势时，返回结果0，并重复判断手是否完全至于桌面。

可选地，检测手的位置包括：将当前帧的图像输入训练好的手检测和定位模型，该检测和定位模型能够识别手的位置和相应手关键点的位置。

可选地，匹配所述手的位置图像与预设图像包括：

检测到手的位置和相应关键点位置之后，提取当前帧图像的SIFT特征，将当前帧图像的SIFT特征与数据库中所有图像的特征进行匹配，并返回匹配图像的ID。

可选地，获取匹配成功的所述预设图像对应的第一文本信息包括：

根据所述ID值，从数据库中获取对应的文本信息，包括但不限于中英文句子、单词、题目。

可选地，识别手指关键点的周围第二文本信息包括：

根据手关键点的位置，截取一个图像区域，通过OCR识别图像区域中的文本信息。

可选地，匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务包括：

所述第二文本信息与所述第一文本信息进行匹配，得到匹配到的所述第三文本，根据匹配到的所述第三文本信息，如果是中英文单词或者句子，则将翻译后的结果朗读并且显示到屏幕上；如果是题目信息，则搜索解答过程并将其显示在屏幕上。

为了实现上述目的，根据本申请的另一方面，提供了一种计算机设备。