[发明专利]一种家庭服务机器人云端多模态对话方法、装置及系统有效
| 申请号： | 201811486867.7 | 申请日： | 2018-12-06 |
| 公开（公告）号： | CN109658928B | 公开（公告）日： | 2020-06-23 |
| 发明（设计）人： | 周风余;王淑倩;尹磊;刘进;万方;郭仁和;沈冬冬 | 申请（专利权）人： | 山东大学 |
| 主分类号： | G10L15/22 | 分类号： | G10L15/22;G10L15/26;G10L15/34;G10L25/63;G06F40/284 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 杨哲 |
| 地址： | 250100 *** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种家庭服务机器人云端多模态对话方法、装置及系统，该方法包括：实时接收用户语音信息和场景图像信息；将用户语音信息转化为文字信息，进行分词和命名实体识别处理，确定对话类型；将场景图像信息进行预处理；筛选预处理图像信息和处理后的文字信息，加入增量知识库，在对话服务负载率小于阈值时进行模型增量训练，更新对话服务模型；对预处理图像信息和/或处理后的文字信息分别进行场景感知、用户感知和情感感知，获取场景感知信息、用户感知信息和情感感知信息；根据不同的对话类型，将处理后的文字信息结合场景感知信息、用户感知信息和/或情感感知信息，通过对话服务模型，生成用户和机器人交互的对话信息。 | ||
| 搜索关键词： | 一种 家庭 服务 机器人 云端 多模态 对话 方法 装置 系统 | ||
【主权项】：
1.一种家庭服务机器人云端多模态对话方法，其特征在于，该方法包括：实时接收用户语音信息和场景图像信息；调用语音识别服务将用户语音信息转化为文字信息，对文字信息进行分词和命名实体识别处理，确定对话类型；将场景图像信息进行预处理，得到预处理图像信息；根据预处理图像信息和处理后的文字信息进行筛选，加入增量知识库，在对话服务负载率小于阈值时进行模型增量训练，动态更新根据知识库训练的对话服务模型；对预处理图像信息和/或处理后的文字信息分别进行场景感知、用户感知和情感感知，获取场景感知信息、用户感知信息和情感感知信息；根据不同的对话类型，将处理后的文字信息结合场景感知信息、用户感知信息和/或情感感知信息，通过对话服务模型，生成用户和机器人交互的对话信息。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东大学，未经山东大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811486867.7/，转载请声明来源钻瓜专利网。
