[发明专利]一种人机交互的多模态数据融合方法、装置及设备

说明书

本发明公开了一种人机交互的多模态数据融合方法，该方法包括：获取智能生产线的人机物要素信息和多种输入模态数据；基于人机物要素信息，从交互层次、空间跨度和业务类型三个维度构建建模表征空间；基于人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建建模基准；定义各类要素的交互规则，构建人机交互行为抽象模型；根据人、机、物各类要素的时间特性构建决策信息系统；通过人机交互行为抽象模型提取多种输入模态数据的数据特征；通过决策信息系统生成多种输入模态数据对应的决策；通过混合融合的方法将传感数据、数据特征和决策进行融合。本发明能够对人机交互的多层次交互进行抽象和结构化描述，以实现多模态数据的有效融合。

技术领域

本发明涉及智能制造技术领域，尤其涉及一种人机交互的多模态数据融合方法、装置及设备。

背景技术

随着人工智能技术迅猛发展，传统制造正逐渐向智能制造转型。传统的“刺激—反应”的人机关系模式正在被改变，人机交互的时代正在向“人-机-物”融合的时代发展，因此必须整体考虑人机物融合泛在计算环境。多模态融合是人机物智能协同的重要手段，多模态数据融合，主要是指利用计算机进行多模态数据的综合处理，负责融合各个模态的信息来执行目标预测。如：Xiao等人在“Multimodal end-to-end autonomous driving”中把驾驶任务划分为感知、机动规划和控制等子任务结合RGB图像和深度模式，防止司机分心；Dennis等人在“Comparison of Multimodal Heading and Pointing Gestures for Co-Located Mixed Reality Human-Robot Interaction”中研发一套基于混合现实人机交互系统，应用该系统在操作机器人手臂时叠加额外的虚拟信息，以提高安全性、可接受性和可预测性。从传统的“刺激—反应”的人机关系模式向“人-机-物”融合的人机关系探索，国内外的科研工作者在应用于泛在计算环境的人机交互方法做了大量的研究工作。但是，现有的人机交互局限于单一层次交互难以对智能生产线多层次交互进行抽象和结构化描述，人机交互数据模态关联性耦合度不足。

发明内容

本发明实施例提供一种人机交互的多模态数据融合方法、装置及设备，能够对人机交互的多层次交互进行抽象和结构化描述，提高人机交互数据模态关联性的耦合度，以实现智能生产线多模态数据的有效融合。

本发明实施例提供了一种人机交互的多模态数据融合方法，包括：

获取智能生产线的人机物要素信息和多种输入模态数据；

基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；

基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；

基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；

根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；

通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；

通过所述决策信息系统，生成所述多种输入模态数据对应的决策；

通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。

作为上述方案的改进，所述基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间，具体为：