[发明专利]一种基于多特征融合的刀具识别方法、装置以及设备

权利要求书

1.一种基于多特征融合的刀具识别方法，其特征在于，包括：

识别带有刀具的图像，以得到待识别的刀具图像；

对所述刀具图像进行粗分类以及提取结构特征；

根据提取的所述刀具图像的结构特征，提取所述刀具图像的非结构特征；

通过将所述非结构特征与预设刀具样例图像对应的非结构特征进行相似度对比，以得到相似度对比结果；其中，进行对比的刀具样例图像对应于通过所述粗分类确定的刀具粗分类别所包含的刀具细分类别；

利用所述相似度对比结果，确定所述刀具图像对应的刀具细分类别；

根据所述刀具细分类别，识别所述刀具图像中刀具的性质。

2.如权利要求1所述的方法，其特征在于，所述对所述刀具图像进行粗分类以及提取结构特征，具体包括：

利用基于第一标注样本训练过的机器学习模型，对所述刀具图像进行粗分类以及提取结构特征；

其中，所述第一标注样本为刀具图像，标注的内容包括对应的：刀具粗分类别、刀具结构信息。

3.如权利要求2所述的方法，其特征在于，所述刀具结构信息包括：刀具尺寸信息，和/或刀具组成部分的位置关系信息。

4.如权利要求2所述的方法，其特征在于，基于第一标注样本训练机器学习模型，具体包括：

基于第一标注样本，以多任务训练方式，对机器学习模型进行类别分类训练和结构特征回归训练。

5.如权利要求1所述的方法，其特征在于，所述根据提取的所述刀具图像的结构特征，提取所述刀具图像的非结构特征，具体包括：

利用基于第二标注样本训练过的机器学习模型，根据提取的所述刀具图像的结构特征，提取所述刀具图像的非结构特征；

其中，所述第二标注样本为刀具图像，标注的内容包括对应的刀具细分类别。

6.如权利要求5所述的方法，其特征在于，所述基于第二标注样本训练过的机器学习模型包括卷积神经网络。

7.如权利要求6所述的方法，其特征在于，所述非结构特征包括全局非结构特征和局部非结构特征；

所述根据提取的所述刀具图像的结构特征，提取所述刀具图像的非结构特征，具体包括：

将所述刀具图像输入所述卷积神经网络进行处理，得到最后一个卷积层输出的分类特征，作为所述刀具图像的全局非结构特征；

根据所述刀具图像的全局非结构特征和提取的所述刀具图像的结构特征，提取所述刀具图像的局部非结构特征。

8.一种基于多特征融合的刀具识别装置，其特征在于，包括：

获取模块，用于识别带有刀具的图像，以得到待识别的刀具图像；

粗分类提取模块，用于对所述刀具图像进行粗分类以及提取结构特征；

第二提取模块，用于根据提取的所述刀具图像的结构特征，提取所述刀具图像的非结构特征；

对比模块，用于通过将所述非结构特征与预设刀具样例图像对应的非结构特征进行相似度对比，以得到相似度对比结果；其中，进行对比的刀具样例图像对应于通过所述粗分类确定的刀具粗分类别所包含的刀具细分类别；

细分类模块，用于利用所述相似度对比结果，确定所述刀具图像对应的刀具细分类别；

识别模块，用于根据所述刀具细分类别，识别所述刀具图像中刀具的性质。

9.如权利要求8所述的装置，其特征在于，所述分类提取模块对所述刀具图像进行粗分类以及提取结构特征，具体包括：

利用基于第一标注样本训练过的机器学习模型，对所述待识别刀具图像进行粗分类以及提取结构特征；

其中，所述第一标注样本为刀具图像，标注的内容包括对应的：刀具粗分类别、刀具结构信息。

10.一种基于多特征融合的刀具识别设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

识别带有刀具的图像，以得到待识别的刀具图像；

对所述刀具图像进行粗分类以及提取结构特征；

根据提取的所述刀具图像的结构特征，提取所述刀具图像的非结构特征；

通过将所述非结构特征与预设刀具样例图像对应的非结构特征进行相似度对比，以得到相似度对比结果；其中，进行对比的刀具样例图像对应于通过所述粗分类确定的刀具粗分类别所包含的刀具细分类别；

利用所述相似度对比结果，确定所述刀具图像对应的刀具细分类别；

根据所述刀具细分类别，识别所述刀具图像中刀具的性质。