[发明专利]一种基于人工智能的免标记仪器设备特征锚点检测方法

说明书

本发明提供一种基于人工智能的免标记仪器设备特征锚点检测方法，包括：采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k‑means对筛选N_a张图像，其中N_tr张训练图像及N_te张测试图像；在N_tr张训练图像、N_te张测试图像上标记需要检测的特征锚点，生成训练响应图像、测试响应图像；以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，达到收敛目标后，形成训练完成的神经网络；将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，并计算检出锚点与实际锚点间的距离，用于评价网络效果；将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点、对应位置及其置信度。

技术领域

本发明涉及图像模式识别领域，尤其涉及一种基于人工智能的免标记仪器设备特征锚点检测方法。

背景技术

量化操作行为是实现智能评判人工操作的瓶颈之一，视觉图像是在不同环境中观察、记录人工操作的简单方法，然而提取动作特征量化操作行为进行进一步分析的工作量极大。在测量控制中，通常采用添加标记的方法来辅助计算机跟踪，但是标记是侵入性的，且标记数量、位置必须预先确定。本发明提出一种基于人工智能的免标记仪器设备特征锚点检测技术，实现了免标记可定义特征锚点检测，可应用于智能评判人工动作、精密仪器量器跟踪、设备人机协同、遥控装置动作、大型装备操作等各种场景。

发明内容

为解决上述存在的问题与缺陷，本发明实现不添加任何标记地准确跟踪人工操作、可在图像上任意定义特征锚点，实现人工操作位姿量化测量及智能评判操作。

本发明的目的通过以下的技术方案来实现：

一种基于人工智能的免标记仪器设备特征锚点检测方法，样本采集与筛选、样本标注、网络训练、网络评价与网络使用，具体包括以下步骤：

A采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，并筛选N_a张图像，其中N_tr张训练图像及N_te张测试图像

B在N_tr张训练图像、N_te张测试图像上标记需要检测的特征锚点，记录所有n_ap个特征锚点在图像中的坐标，按照特征锚点生成训练响应图像与测试响应图像

C以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用训练响应图像的交叉熵损失作为训练的目标，经过N_step后或达到收敛目标后，形成训练完成的神经网络；

D将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，计算检出锚点与实际锚点间的距离，用于评价网络效果；

E将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点序号n_ap(n_ap＝1,2,3...N_ap)、对应位置及特征锚点对应序号对应的测试图像的特征锚点的置信度

本发明有益效果是：

实现不添加任何标记地准确跟踪人工操作、可在图像上任意定义特征锚点，实现人工操作位姿量化测量及智能评判操作。

附图说明

图1是本发明所述的基于人工智能的免标记仪器设备特征锚点检测方法流程框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述。