[发明专利]基于智能机器人的儿童读物阅读与交互方法及系统

权利要求书

1.一种基于智能机器人的儿童读物阅读与交互方法，其特征在于，所述智能机器人处于开启状态，获取阅读指示，所述儿童读物置于所述智能机器人识别范围内，所述方法包含以下步骤：

在可识别范围内，追踪用户的手部动作，通过视觉识别能力识别用户的手势指示阅读意图，并确定所述手势指向的儿童读物中的待识别内容；

识别所述待识别内容中的文字信息以及图像信息，对所述文字信息以及所述图像信息进行文字语义理解以及图像语义理解，获取所述待识别内容中包含的目标物信息；

获取与所述目标物信息匹配的问答数据，生成多模态输出数据，并接收用户针对所述多模态输出数据的回应，与用户展开多轮交互。

2.如权利要求1所述的方法，其特征在于，通过视觉识别能力识别用户的手势的步骤中，包含以下步骤：

通过视觉识别能力识别用户的静态手势以及动态手势，其中，所述静态手势包含手指指向型手势，所述动态手势包含手指滑动型手势。

3.如权利要求1所述的方法，其特征在于，获取所述待识别内容中包含的目标物信息的步骤中，包含以下步骤：

对所述待识别内容中的文字信息进行文字语义理解，确定所述文字信息中包含的文字内容拼写以及文字内容读音，以确定所述目标物信息；

对所述待识别内容中的图像信息进行图像语义理解，确定所述图像信息中包含的目标物种类信息、人物信息以及环境信息，以确定所述目标物信息。

4.如权利要求1所述的方法，其特征在于，获取与所述目标物信息匹配的问答数据，生成多模态输出数据的步骤中，包含以下步骤：

提取所述目标物信息中包含的映射关键词，并将所述映射关键词发送至知识库，在所述知识库中搜寻并调取所述目标物的问答数据。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

解析用户输出的多模态数据，确定用户的交互意图，根据所述交互意图生成所述多模态输出数据。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。

7.一种基于智能机器人的儿童读物阅读与交互装置，其特征在于，所述智能机器人处于开启状态，获取阅读指示，所述儿童读物置于所述智能机器人识别范围内，所述装置包含：

待识别内容确定模块，其用于在可识别范围内，追踪用户的手部动作，通过视觉识别能力识别用户的手势指示阅读意图，并确定所述手势指向的儿童读物中的待识别内容；

目标物信息获取模块，其用于识别所述待识别内容中的文字信息以及图像信息，对所述文字信息以及所述图像信息进行文字语义理解以及图像语义理解，获取所述待识别内容中包含的目标物信息；

多模态输出数据生成模块，其用于获取与所述目标物信息匹配的问答数据，生成多模态输出数据，并接收用户针对所述多模态输出数据的回应，与用户展开多轮交互。

8.一种智能机器人，其特征在于，用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。

9.一种基于智能机器人的儿童读物阅读与交互系统，其特征在于，所述智能机器人处于开启状态，获取阅读指示，所述儿童读物置于所述智能机器人识别范围内，所述系统包含：

智能终端，其包含如权利要求8所述的智能机器人，用于在可识别范围内，追踪用户的手部动作，通过视觉识别能力识别用户的手势，并具备媒体文件识别功能以及媒体文件输出功能；

儿童读物，其置于识别范围内，具备可识别性，用于展示适用于儿童用户阅读的儿童相关内容；

云端大脑，其用于对来自用户或环境的多模态数据进行语义理解、视觉识别、认知计算以及情感计算，以决策所述智能终端输出回应用户的多模态数据。