[发明专利]一种人机交互的多模态数据融合方法、装置及设备

权利要求书

1.一种人机交互的多模态数据融合方法，其特征在于，包括：

获取智能生产线的人机物要素信息和多种输入模态数据；

基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；

基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；

基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；

根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；

通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；

通过所述决策信息系统，生成所述多种输入模态数据对应的决策；

通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。

2.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间，具体为：

基于所述人机物要素信息，从智能生产线的信息空间维度刻画建模表征空间的交互层次，从所述智能生产线的物理制造资源维度刻画所述建模表征空间的空间跨度，从所述智能生产线的全生命周期业务刻画所述建模表征空间的业务类型，以构建人、机、物各类要素的建模表征空间。

3.如权利要求2所述的人机交互的多模态数据融合方法，其特征在于，所述交互层次包括：物理感知控制、信息通信计算、服务与决策；

所述空间跨度包括：产品、传感与执行单元、制造单元、工位、产线；

所述业务类型包括：订单分析、工艺规划、资源配置、装备控制和状态感知。

4.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型，包括：

基于所述建模基准对所述建模表征空间的多个层次的数据信息进行表征学习特征提取，得到所述数据信息的分布式特征表示；

根据所述数据信息的分布式特征表示，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型。

5.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述人机交互行为抽象模型包括：面向不同时间尺度和不同行为模式的计算模型、涵盖智能生产线动态并发计算过程的时间多任务模型、面向不确定性干扰与驱动的离散事件模型、面向加工过程中物理演化过程的连续时间模型。

6.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述决策信息系统S表示为：

S＝(U,C∪D,V,f)；

其中，U为非空有限论域，C为各类要素的条件属性集，D为各类要素的决策属性集，C∩D＝φ，V为各类要素属性值的集合，f为属性依赖度函数。

7.如权利要求6所述的人机交互的多模态数据融合方法，其特征在于，所述决策信息系统的多粒度空间GS表示为：

GS＝(GL₁,GL₂,…,GL_n)；

其中，GL_i＝(U,A_i∪D,V_i,f_i)为多粒度空间GS在第i层的粒度结构，U为非空有限论域，A_i为各类要素在第i层的条件属性集，D为各类要素的决策属性集，V_i为各类要素在第i层属性值的集合，f_i为第i层属性之间的属性依赖度函数。