[发明专利]一种涉及视频和音频多媒体信息处理的人机交流系统

说明书

本发明公开了一种涉及视频和音频多媒体信息处理的人机交流系统，包括数据采集、数据存储、数据分析和语音/文字/视频输出，所述数据采集包括影像数据采集、语音/文字/气体数据采集和数据分析；所述数据存储、数据分析均设在服务器系统中，服务器的构架分别是技术层服务器和数据层；所述技术层服务器包括客户端子系统、影像子系统、语音子系统、气体子系统、场景子系统和综合分析子系统；所述数据层包括影像数据库和语音/文字数据库。本发明综合了影像、语音、语义多种算法，使对话内容在全方位、多层级整合中保持连贯性、一致性和自主性；本发明串联了影像数据、语音/文字/气体数据，且系统使机器拥有类人的思维方式，使人机交流更贴近“人‑人”交流，使系统处理交流信息的过程更接近人脑处理方式，使人机交流更顺畅，范围更广。

技术领域

本发明涉及智能自动化领域和机器人神经网络技术领域，具体是一种涉及视频和音频多媒体信息处理的人机交流系统。

背景技术

当前，随着科学技术的不断进步，机器人技术领域也得到了快速的发展，在机器人的行为逻辑以及人机互动中，人机对话是最常见的，而人机对话一般是指人与人机语音或文字对答。当前的人机对话系统只是在特定环境下的语音或文字对答。随着人工智能及信息技术不断发展成熟，特定环境下人机语音或文字对答已经不能满足社会发展的脚步。市场及应用上迫切需要一种在任意环境下的人机语音或文字自然对话系统，用以解决词不达意，人机交流不知所云等自然交流困难的问题。

发明内容

本发明的目的在于提供一种涉及视频和音频多媒体信息处理的人机交流系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种涉及视频和音频多媒体信息处理的人机交流系统，包括数据采集、数据存储、数据分析和语音/文字/视频输出，所述数据采集包括影像数据采集、语音/文字/气体数据采集和数据分析；所述数据存储、数据分析均设在服务器系统中，服务器的构架分别是技术层服务器和数据层；所述技术层服务器包括客户端子系统、影像子系统、语音子系统、气体子系统、场景子系统和综合分析子系统；所述数据层包括影像数据库、气体信息库和语音/文字数据库。

作为本发明的进一步方案：所述客户端子系统包括语音、文字、影像、气体识别系统。

作为本发明的进一步方案：所述影像子系统包括影像识别、影像存储和影像分析。

作为本发明的进一步方案：所述语音子系统包括声音文字识别、声音文字存储和声音文字分析。

作为本发明的进一步方案：所述场景子系统包括词汇场和影像场。

作为本发明的进一步方案：所述气体子系统包括气体识别和气体反馈。

作为本发明的再进一步方案：所述综合分析子系统包括形象记忆、动作记忆、逻辑记忆和情绪记忆。

与现有技术相比，本发明的有益效果体现在以下几个方面：

一、本发明综合了影像、语音、语义、气体多种算法，使对话内容在全方位、多层级整合中保持连贯性、一致性和自主性。

二、本发明综合各种算法；包括深度学习、加强学习、专家系统共同构建整个系统，并基于数据库不断跟新，使得影像场、词汇场更科学、更智能，从而实现机器对语音及文字理解和认识，为机器与人自然沟通提供了快速有效的解决方案。

三、本发明串联了影像数据、语音/文字/气体数据，且系统使机器拥有类人的思维方式。

四、本发明支持气体分析，可通过气体识别可能来源，扩大了人机交流过程可提问的范围，进行气体追踪。