[发明专利]基于人工智能与知识图谱的电动列车装备检修实训考评系统

权利要求书

1.一种基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；该系统组成包括；

感应点摄像头：该感应点摄像头包括头戴式无线摄像头、实训检修仓顶部区域感应点摄像头、实训检修仓操作台区域感应点摄像头和工具台感应点摄像头，这些摄像头负责对学员的检修实训操作过程进行视频采集，并将采集到的视频数据发送给GPU服务器集群；

GPU服务器集群：该GPU服务器集群中包含了多台GPU服务器，每台GPU服务器安装有多张GPU显卡，所述GPU服务器集群中安装部署智能模型单元，每台GPU服务器负责处理对应的几路视频数据，并将智能模型识别的结果发送给应用服务器；

数据库服务器集群：该数据库服务器群集包括多台应用服务器，所述数据库服务器群集中部署安装电动列车检修知识图谱单元；每台应用服务器分别负责存储列车检修知识图谱数据、列车检修规则数据和应用数据，

应用服务器集群：该应用服务器集群部署安装检修规则引擎单元，该应用服务器集群中包含了多台应用服务器，每台应用服务器分别部署了检修规则引擎服务、检修规则管理服务、基础参数管理服务、感应点管理服务、3D模型管理服务和三维仿真可视化服务，所有的应用服务都通过微服务的方式进行部署、管理和调度，由其是检修规则引擎服务负责接收智能模型服务发送过来的识别结果，并从数据库服务器上获取应用数据和图数据，然后通过检修规则对学员的检修实训操作进行评分，同时将智能模型识别到的结果进行三维重建，并在可视化大屏上进行展示；

大屏展示设备：该大屏展示设备负责对应用服务器重建后的3D模型和操作动画进行展示，方便教员和其它学员进行观看和学习。

2.根据权利要求1所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；所述智能模型单元，该功能单元包含四个智能模型，分别为工器具检测与识别模型、工器具实例分割模型、仪器仪表读数识别模型和检修动作识别模型，这些智能模型负责对摄像头采集到的视频流数据进行智能识别，并在识别完成后分别将工器具和检修动作的识别结果转换成对应的工器具指令和检修动作指令，随后将上述工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎；

所述工器具检测与识别模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行检测和识别；

工器具检测与识别模型是通过目标检测与识别算法对标注好的工器具数据集进行迭代训练而来，该目标检测与识别算法使用了一种基于像素级预测的单阶段全卷积检测网络，其网络结构包括主干网络、特征金字塔网络和检测器，检测器又包含三个分支，分别为分类预测分支、中心度预测分支和回归预测分支；对应的工作过程分为如下几个步骤：

步骤1：对输入的图像进行RGB图转灰度图、尺寸缩放和图像数据转张量等预处理操作；

步骤2：将步骤1得到张量数据送入主干网络得到输入数据的五种不同尺度的特征映射；

步骤3：将步骤2得到的特征映射送入下一步的特征金字塔网络，并在特征映射的每一个像素点上使用预先定义好的锚框进行回归预测；

步骤4：通过二值交叉熵损失来计算步骤3得到的每个一预测边界框的中心度，并通过中心度乘以相应的分类分数来计算预测边界框的置信度；

步骤5：最后通过非极大值抑制过滤掉步骤4得到的低质量边界框，并按置信度进行排序得到目标对象最终的边界框与分类类别；

所述工器具实例分割模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行实例分割，工器具实例分割的结果可以用来计算工器具之间的交并比，检修规则引擎需要同时结合检修动作的识别结果和工器具之间的交并比来判断检修动作是否合规；

工器具实例分割模型是通过实例分割算法对标注好的工器具数据集进行迭代训练而来，该实例分割算法由一个检测模块和一个混合掩模模块构成；检测模块用来预测实例对象的边界框坐标与分类类别，混合掩模模块包含三个部分，一个用来生成掩膜的底部模块，一个用来生成顶层注意力的顶部模块，以及一个将掩膜和注意力融合起来的混合模块；

所述各个模块的具体作用如下：

检测模块：检测模块与智能模型一的网络结构和工作过程相同，主要负责对输入图像中实例对象的边界框和分类类别进行预测，并为底部模块和顶部模块提供特征输入；

顶部模块：通过检测模块得到每个实例对象的边界框提议，再经过一个卷积操作得到顶层注意力；

底部模块：底部模块以检测模块中主干网络和特征金字塔的特征映射为输入，分别通过上采样、连接和卷积操作得到整张图的K个掩膜；

混合模块：混合模块以实例候选边界框、顶层注意力和整张图的K个掩膜为输入，分别对这K个掩膜进行裁剪、缩放和对齐，对顶层注意力进行插值并经过Softmax归一化后得到一组得分图，最后将得分图和处理完的K个掩膜相乘，并按通道相加得到最终的掩膜；

所述仪器仪表读数识别模型，该智能模型以工器具检测与识别模型的结果为输入，从图像中剪切出仪器仪表所在区域，并对仪器仪表上所显示的测量数据进行识别；

仪器仪表读数识别模型是通过光学字符识别算法对标注好的仪器仪表读数数据集和光学字符数据集进行迭代训练而来，该光学字符识别算法使用了一种多任务并行的全卷积点聚集网络，支持实时的对任意形状的文本进行检测和识别；对应的工作过程分为如下几个步骤：

步骤1：使用角点检测和霍夫变换对图像进行校正；

步骤2：将步骤1得到的图像送入带有特征金字塔网络的主干网络，得到1/4下采样的特征映射；

步骤3：使用全卷积网络对步骤2得到的特征映射进行多任务并行学习，分别得到文字区域的四种模态的特征信息，包括文本中心线、文本边缘偏移量、文本方向偏移量和文本字符分类图；

步骤4：使用步骤3得到的文本中心线和文本方向偏移量按照文本的阅读顺序提取文字中心点序列，再通过文本边缘偏移量计算得到文本的边界框；

步骤5：使用步骤3得到的文本中心线和文本方向偏移量在文本字符分类图上进行上采样，将采样点拼接成固定长度的序列后，再使用联结主义时间分类损失函数进行训练，得到的字符分类概率序列，并将其解码为最终的文字识别结果；

所述检修动作识别模型，该智能模型用于对学员检修实训操作过程中的检修动作进行识别；检修动作识别模型是通过人体行为识别算法对标注好的检修动作数据集进行迭代训练而来，该人体行为识别算法使用了一种双流自适应图卷积神经网络，其组成部分包括自适应卷积层、自适应图卷积块、自适应图卷积网络和双流网络；对应的工作过程分为如下几个步骤：

步骤1：使用预训练的人体姿态估计模型从图像中提取人体骨胳关键点数据；

步骤2：从步骤2得到的人体骨胳关键点数据中提取关节数据和骨胳数据，关节数据包括源关节点坐标和目标关节点坐标，骨胳数据表征为从源关节点指向目标关节点的向量；

步骤3：分别将步骤3得到的关节数据和骨胳数据送入到关节数据流处理网络和骨胳数据流处理网络，其中关节数据流处理网络和骨胳数据流处理网络分别使用基于距离的采样函数来对关节数据和骨胳数据进行采样，再通过时空图卷积网络将关节样本和骨胳样本自适应的构造成不同的拓扑结构图，而后将两类样本的拓扑结构图送入各自的Softmax分类器得到对应的动作预测打分；

步骤4：将步骤3得到的关节样本和骨胳样本的动作预测打分进行相加，并得到最终的动作预测标签。