[发明专利]基于智能机器人的儿童读物阅读与交互方法及系统

说明书

本发明提供一种基于智能机器人的儿童读物阅读与交互方法，智能机器人处于开启状态，获取阅读指示，儿童读物置于智能机器人识别范围内，包含：在可识别范围内，追踪用户的手部动作，通过视觉识别能力识别用户的手势，确定手势具有阅读的意图，并指向的儿童读物中的待识别内容；识别待识别内容中的文字信息以及图像信息，对文字信息以及图像信息进行文字语义理解以及图像语义理解，获取待识别内容中包含的目标物信息；获取与目标物信息匹配的问答数据，生成多模态输出数据，并接收用户针对多模态输出数据的回应，与用户展开多轮交互。本发明能够识别用户的手势，阅读用户手势指向的儿童读物的内容，提升用户的使用体验，降低了儿童用户的阅读难度。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种基于智能机器人的儿童读物阅读与交互方法及系统。

背景技术

常规的儿童教育中，儿童读物都以纸质等印刷品的方式呈现，由幼儿自行或家长陪同进行阅读，儿童用户由于不具备完整的知识储备，在阅读以及学习儿童读物时存在一些难度，很难流畅的阅读或是理解儿童读物中的内容含义。

另外，机器人多模态交互系统的开发致力于模仿人类对话，以试图在上下文之间模仿人类之间的交互。但是，目前来说，对于智能机器人相关的机器人多模态交互系统的开发还不太完善，尚未出现基于儿童读物与用户进行多模态交互的智能产品。

因此，本发明提供了一种基于智能机器人的儿童读物阅读与交互方法及系统。

发明内容

为解决上述问题，本发明提供了一种基于智能机器人的儿童读物阅读与交互方法，所述智能机器人处于开启状态，获取阅读指示，所述儿童读物置于所述智能机器人识别范围内，所述方法包含以下步骤：

在可识别范围内，追踪用户的手部动作，通过视觉识别能力识别用户的手势指示阅读意图，并确定所述手势指向的儿童读物中的待识别内容；

识别所述待识别内容中的文字信息以及图像信息，对所述文字信息以及所述图像信息进行文字语义理解以及图像语义理解，获取所述待识别内容中包含的目标物信息；

获取与所述目标物信息匹配的问答数据，生成多模态输出数据，并接收用户针对所述多模态输出数据的回应，与用户展开多轮交互。

根据本发明的一个实施例，通过视觉识别能力识别用户的手势的步骤中，包含以下步骤：

通过视觉识别能力识别用户的静态手势以及动态手势，其中，所述静态手势包含手指指向型手势，所述动态手势包含手指滑动型手势。

根据本发明的一个实施例，获取所述待识别内容中包含的目标物信息的步骤中，包含以下步骤：

对所述待识别内容中的文字信息进行文字语义理解，确定所述文字信息中包含的文字内容拼写以及文字内容读音，以确定所述目标物信息；

对所述待识别内容中的图像信息进行图像语义理解，确定所述图像信息中包含的目标物种类信息、人物信息以及环境信息，以确定所述目标物信息。

根据本发明的一个实施例，获取与所述目标物信息匹配的问答数据，生成多模态输出数据的步骤中，包含以下步骤：

提取所述目标物信息中包含的映射关键词，并将所述映射关键词发送至知识库，在所述知识库中搜寻并调取所述目标物的问答数据。

根据本发明的一个实施例，所述方法还包括：

解析用户输出的多模态数据，确定用户的交互意图，根据所述交互意图生成所述多模态输出数据。

根据本发明的一个实施例，所述方法还包括：

获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。