[发明专利]用于智能机器人的多模态交互方法及装置

权利要求书

1.一种用于智能机器人的多模态交互方法，所述智能机器人安装有机器人操作系统，该方法包括：

获取用户输入的简笔画图像，将获取的所述简笔画图像转换成适合处理的形式，即将物理量编程一组测量值，所述简笔画图像包含未绘制完整的图像；

通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的，在所述特定的神经网络前端将重点集中在所述简笔画图像的细节部分，使用全卷积结构的神经网络，并控制参数，在将归一化后的所述简笔画图像输入至所述特定的神经网络后，会输出一个多维向量来表示输入图像属于每一类的概率；

基于所述物体信息生成多模态数据并向用户输出，

其中，还包括：

向用户输出简笔画显示数据，所述简笔画显示数据是基于设定物体来生成的或者从数据库中获取得到，将原始图像数据转化成灰度图像，然后进行平滑、锐化图像增强处理，在后经处理后的图像进行边缘检测、边缘细化、边缘跟踪的图像特征提取，得到所述简笔画显示数据，其中，在向用户输出简笔画显示数据的过程中，将所述简笔画显示数据从无到有逐步显示完整；

在简笔画显示数据输出的过程中，接收并解析用户针对已输出内容所反馈的信息以获取用户反馈信息中的物体信息；

判断所述物体信息与所述简笔画显示数据是否对应，若不对应，则输出完整的简笔画显示数据及其对应的物体信息，

其中，识别用户身份，根据用户之前画过的简笔画历史记录，输出用户未画过的简笔画显示数据，

若用户识别简笔画的准确度大于设定阈值，则将该用户的简笔画保存到数据库中。

2.根据权利要求1所述的多模态交互方法，其特征在于，

通过使所述特定的神经网络的第一层网络使用相对于输入的简笔画图像大小的大比例的卷积核大小，以捕捉简笔画图像的细节识别出所述简笔画图像所表征的物体。

3.根据权利要求1所述的多模态交互方法，其特征在于，该方法还包括：

在向用户输出多模态数据后，接收用户的反馈信息，当接收到用户的反馈信息为识别正确的信息时，结束识别，否则重新获取用户输入的包含更多信息的简笔画图像继续识别简笔画图像所表征的物体信息。

4.一种用于智能机器人的多模态交互装置，所述智能机器人安装有机器人操作系统，该装置包括：

简笔画图像输入模块，其获取用户输入的简笔画图像，将获取的所述简笔画图像转换成适合处理的形式，即将物理量编程一组测量值，所述简笔画图像包含未绘制完整的图像；

物体识别模块，其通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的，在所述特定的神经网络前端将重点集中在所述简笔画图像的细节部分，使用全卷积结构的神经网络，并控制参数，在将归一化后的所述简笔画图像输入至所述特定的神经网络后，会输出一个多维向量来表示输入图像属于每一类的概率；

多模态数据输出模块，其基于所述物体信息生成多模态数据并向用户输出，

其中，还包括：

简笔画显示数据输出模块，其向用户输出简笔画显示数据，进一步基于设定物体来生成或者从数据库中获取得到所述简笔画显示数据，将原始图像数据转化成灰度图像，然后进行平滑、锐化图像增强处理，在后经处理后的图像进行边缘检测、边缘细化、边缘跟踪的图像特征提取，得到所述简笔画显示数据，其中，在向用户输出简笔画显示数据的过程中，将所述简笔画显示数据从无到有逐步显示完整；

反馈信息解析模块，其在简笔画显示数据输出的过程中，接收并解析用户针对已输出内容所反馈的信息以获取用户反馈信息中的物体信息；

物体信息判断模块，其判断所述物体信息与所述简笔画显示数据是否对应，若不对应，则输出完整的简笔画显示数据及其对应的物体信息，

其中，还包括用户身份识别模块，其识别用户身份；

所述简笔画显示数据输出模块，其进一步根据用户之前画过的简笔画历史记录，输出用户未画过的简笔画显示数据，

数据存储模块，其在用户识别简笔画的准确度大于设定阈值时，将该用户的简笔画保存到数据库中。