[发明专利]用于智能机器人的多模态交互方法及装置

说明书

本发明公开了一种用于智能机器人的多模态交互方法及装置。所述智能机器人安装有机器人操作系统，该方法包括：获取用户输入的简笔画图像；通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；基于所述物体信息生成多模态数据并向用户输出。本发明提出了一种“你画我猜”的新型交互模式，增强了智能机器人的多模态交互能力，提高了智能机器人的功能的多样性，改善了用户体验。

技术领域

本发明涉及智能机器人领域，尤其涉及一种用于智能机器人的多模态交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。因此，提升智能机器人的交互能力，改善机器人的类人性和智能性，是现在亟需解决的重要问题。

发明内容

本发明所要解决的技术问题之一是需要提供一种提升智能机器人的交互能力，改善机器人的类人性和智能性的解决方案。

为了解决上述技术问题，本申请的实施例首先提供了一种用于智能机器人的多模态交互方法，所述智能机器人安装有机器人操作系统，该方法包括：获取用户输入的简笔画图像；通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；基于所述物体信息生成多模态数据并向用户输出。

优选地，通过使所述特定的神经网络的第一层网络使用相对于输入的简笔画图像大小的大比例的卷积核大小，以捕捉简笔画图像的细节识别出所述简笔画图像所表征的物体。

优选地，该方法还包括：在向用户输出多模态数据后，接收用户的反馈信息，当接收到用户的反馈信息为识别正确的信息时，结束识别，否则重新获取用户输入的包含更多信息的简笔画图像继续识别简笔画图像所表征的物体信息。

优选地，该方法还包括：向用户输出简笔画显示数据；在简笔画显示数据输出的过程中，接收并解析用户针对已输出内容所反馈的信息以获取用户反馈信息中的物体信息；判断所述物体信息与所述简笔画显示数据是否对应，若不对应，则输出完整的简笔画显示数据及其对应的物体信息。

优选地，所述简笔画显示数据是基于设定物体来生成的或者从数据库中获取得到。

优选地，该方法还包括：识别用户身份，根据用户之前画过的简笔画历史记录，输出用户未画过的简笔画显示数据。

优选地，该方法还包括：若用户识别简笔画的准确度大于设定阈值，则将该用户的简笔画保存到数据库中。

根据本发明的另一方面，还提供了一种用于智能机器人的多模态交互装置，所述智能机器人安装有机器人操作系统，该装置包括：简笔画图像输入模块，其获取用户输入的简笔画图像；物体识别模块，其通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；多模态数据输出模块，其基于所述物体信息生成多模态数据并向用户输出。

优选地，所述物体识别模块，其进一步通过使所述特定的神经网络的第一层网络使用相对于输入的简笔画图像大小的大比例的卷积核大小，以捕捉简笔画图像的细节识别出所述简笔画图像所表征的物体。

优选地，该装置还包括：反馈信息接收模块，其在向用户输出多模态数据后，接收用户的反馈信息，当接收到用户的反馈信息为识别正确的信息时，结束识别，否则重新获取用户输入的包含更多信息的简笔画图像继续识别简笔画图像所表征的物体信息。