[发明专利]基于儿童专用穿戴智能设备的交互方法及系统

权利要求书

1.一种基于儿童专用穿戴智能设备的交互方法，其特征在于，所述方法包含以下步骤：

启动儿童专用穿戴智能设备上的视觉识别模块，接收用户输入的多模态输入数据，依据所述多模态输入数据选择场景类型；

在场景类型对应交互模式下，调用所述视觉识别模块中的视觉识别能力，采集当前视野下的图像信息；

将所述图像信息上传至云端进行解析，得到与所述图像信息对应的多模态回应数据；

接收并输出所述云端传送的所述多模态回应数据。

2.如权利要求1所述的方法，其特征在于，所述场景类型包含搜题场景、翻译场景、批改场景、百科场景、绘本场景、字迹场景以及造句场景。

3.如权利要求1-2中任一项所述的方法，其特征在于，依据所述多模态输入数据选择场景类型，具体包含以下步骤：

对所述多模态输入数据进行分析，提取所述多模态输入数据中包含的文字信息及用户的多模态指示信息；

对所述文字信息以及所述多模态指示信息进行识别，获取所述文字信息对应的场景特征及用户需求；

获取与所述场景特征匹配的场景类型。

4.如权利要求1所述的方法，其特征在于，得到与所述图像信息对应的多模态回应数据的步骤中，还包含以下步骤：

对所述图像信息进行光学字符识别以及图像识别以生成匹配结果数据，对所述匹配结果数据进行语音转化处理，将所述匹配结果数据中的文字数据转化成语音数据；

依据所述匹配结果数据，确定与所述语音数据匹配的图片数据以及视频数据；

得到包含所述文字数据、所述语音数据、所述图片数据以及所述视频数据的所述多模态回应数据。

5.如权利要求1-4中任一项所述的方法，其特征在于，场景类型对应交互模式通过如下方式实现：

当接收到用户输入的确认或打断指令时，接收用户输入的多模态交互数据；

对所述多模态交互数据进行解析，获取用户的交互意图，依据所述交互意图与用户展开交互。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。

7.一种程序产品，其包含用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。

8.一种基于儿童专用穿戴智能设备的交互装置，其特征在于，所述装置包含：

第一模块，其用于启动儿童专用穿戴智能设备上的视觉识别模块，接收用户输入的多模态输入数据，依据所述多模态输入数据选择场景类型；

第二模块，其用于在场景类型对应交互模式下，调用所述视觉识别模块中的视觉识别能力，采集当前视野下的图像信息；

第三模块，其用于将所述图像信息上传至云端进行解析，得到与所述图像信息对应的多模态回应数据；

第四模块，其用于接收并输出所述云端传送的所述多模态回应数据。

9.一种儿童专用穿戴智能设备，其特征在于，用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。

10.一种基于儿童专用穿戴智能设备的交互系统，其特征在于，所述系统包含：

如权利要求9所述的儿童专用穿戴智能设备；

云端，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用穿戴智能设备输出多模态数据。