[发明专利]一种基于人工智能的免标记仪器设备特征锚点检测方法

权利要求书

1.一种基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述方法包括样本采集与筛选、样本标注、网络训练、网络评价与网络使用，具体包括以下步骤：

A采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，并筛选N_a张图像，其中N_tr张训练图像及N_te张测试图像

B在N_tr张训练图像、N_te张测试图像上标记需要检测的特征锚点，记录所有n_ap个特征锚点在图像中的坐标，按照特征锚点生成训练响应图像与测试响应图像

C以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用训练响应图像的交叉熵损失作为训练的目标，经过N_step后或达到收敛目标后，形成训练完成的神经网络；

D将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，计算检出锚点与实际锚点间的距离，用于评价网络效果；

E将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点序号n_ap(n_ap＝1,2,3...N_ap)、对应位置及特征锚点对应序号对应的测试图像的特征锚点的置信度

2.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤A中：足够表征该仪器设备操作过程的图像指图像应该涵盖整个仪器设备操作过程，并且对于旋转过程，旋转角度差分值应小于等于15°，且仪器应在尽量在整个视野范围中出现。

3.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤A中：使用k-means对所有图像或视频的所有帧进行分析包括：

(1)将所有图像{I₁,I₂,I₃…I_N}映射为特征向量{v₁,v₂,v₃…v_N}，设总共提取N_a张图像，则生成个聚类中心{m₁⁽¹⁾,...,m_k⁽¹⁾}；

(2)通过特征向量到各聚类中心的距离则可以判断出任意的第i张图像I_i属于哪一个聚类中心，将所有图像按照特征向量聚为点集并认为I_i属于第p类(1≤p≤k)

之后，在根据聚类的特征向量来计算新的聚类中心

进入下一次迭代，重复步骤(2)直到聚类中心不再发生变化。

4.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤B中，所有N_ap个特征锚点在第n张训练图像I_{tr_n}中的坐标为则可以生成

重复则可生成N_tr张训练图像的训练响应图像

同理，也能生成N_te张测试图像的测试响应图像

5.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤C中，响应图像上某个像素点的真实响应为输出响应为则交叉熵损失E_loss(p,p_out)为：

6.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤D中，若第n张训练图像I_{tr_n}中输出的锚点坐标为则平均距离偏差为这一指标指示了检测锚点的偏离程度。

7.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤E中，特征锚点序号n_ap其中n_ap＝1,2,3...N_ap、对应位置及特征锚点相应序号对应的测试图像的特征锚点的置信度具体为