[发明专利]一种基于Faster R-CNN检测器的栓母对自动组合方法

权利要求书

1.一种基于FasterR-CNN检测器的栓母对自动组合方法，其特征在于，包括以下步骤：

S1，使用FasterR-CNN检测器输出并保存螺栓、螺母类别和目标框坐标；

S2，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；

S3，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；

S4，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理；

其中，步骤S1中，使用FasterR-CNN检测器输出并保存螺栓、螺母类别和目标框坐标，包括：

使用FasterR-CNN检测器检测含有螺栓和螺母的电力图像数据集；

基于FasterR-CNN检测器的结果，确定螺栓、螺母类别与目标框坐标(X,Y,W,H)，输出并保存为TXT文件，所述TXT文件的格式为：图片名、类别、目标框坐标(X,Y,W,H)，所述目标框采用四维向量表示，(X,Y,W,H)分别表示目标框的中心点坐标、宽、高；

其中，步骤S2中，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标，包括：

读取TXT文件的图片名、类别、目标框坐标(X,Y,W,H)；

基于目标框坐标(X,Y,W,H)，利用目标框坐标和螺栓、螺母四个顶点坐标的关系公式，分别计算螺母的四个顶点坐标(X_1i,Y_1i),(X_2i,Y_2i),(X_3i,Y_3i),(X_4i,Y_4i)以及螺栓的四个顶点坐标(X_1j,Y_1j),(X_2j,Y_2j),(X_3j,Y_3j),(X_4j,Y_4j)，其中所述关系公式表示如下：

其中，i＝1,2,3,...,n；j＝1,2,3,...,m；n表示电力图像中所有螺栓的数量，m表示电力图像中所有螺母的数量；所述坐标(X_1i,Y_1i),(X_2i,Y_2i),(X_3i,Y_3i),(X_4i,Y_4i)分别为螺母i的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标；所述坐标(X_1j,Y_1j),(X_2j,Y_2j),(X_3j,Y_3j),(X_4j,Y_4j)分别为螺栓j的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标；

其中，步骤S3中，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标，包括：

所述自动组合规则包括七个自动组合规则，

第一个自动组合规则，

当螺栓、螺母四个顶点坐标符合公式(2)，则取栓母对区域四个顶点坐标为((X_1i,Y_1i),(X_2i,Y_2i),(X_3i,Y_3i),(X_4i,Y_4i))；

第二个自动组合规则，

当螺栓、螺母四个顶点坐标符合Y_1j-Y_3j＞＝5*(Y_3i-Y_3j)和符合公式(3)时，则取栓母对区域四个顶点坐标为((X_1i,Y_1i),(X_2i,Y_2i),(X_3i,Y_3j),(X_4i,Y_4j))；

第三个自动组合规则，

当螺栓、螺母四个顶点坐标符合X_2j-X_1i＞＝5*(X_2j-X_2i)和符合公式(4)时，则取栓母对区域四个顶点坐标为((X_1i,Y_1i),(X_2j,Y_2i),(X_3i,Y_3i),(X_4j,Y_4i))；

第四个自动组合规则，

当螺栓、螺母四个顶点坐标符合X_2i-X_1j＞＝5*(X_1i-X_1j)和符合公式(5)时，则取栓母对区域四个顶点坐标为((X_1j,Y_1i),(X_2i,Y_2i),(X_3j,Y_3i),(X_4i,Y_4i))；

第五个自动组合规则，

当螺栓、螺母四个顶点坐标符合X_2j-X_1i＞＝5*(X_2j-X_2i)和Y_1i-Y_3j＞＝5*(Y_3i-Y_3j)和符合公式(6)时，则取栓母对区域四个顶点坐标为((X_1i,Y_1i),(X_2j,Y_2i),(X_3i,Y_3j),(X_4j,Y_4j))；

第六个自动组合规则，

当螺栓、螺母四个顶点坐标符合X_2i-X_1j＞＝5*(X_1i-X_1j)和Y_1i-Y_3j＞＝5*(Y_3i-Y_3j)和符合公式(7)时，则取栓母对区域为((X_1j,Y_1i),(X_2i,Y_2i),(X_3j,Y_3j),(X_4i,Y_4j))；

第七个自动组合规则，

当螺栓、螺母四个顶点坐标符合Y_1j-Y_3i＞＝5*(Y_3j-Y_3i)和X_2i-X_1i＞＝5*(X_1j-X_1j)+5*(X_2i-X_2j)和符合公式(8)时，则取栓母对区域四个顶点坐标为((X_1i,Y_1j),(X_2i,Y_2j),(X_3i,Y_3i),(X_4i,Y_4i))；

通过上述七个规则将同一电力图像中内的螺栓i和螺母j自动组合为栓母对，并计算栓母对区域四个顶点坐标，其中，不符合自动组合规则，未组成栓母对的螺栓和螺母将自动丢弃；

其中，步骤S4中，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理，包括：

将栓母对区域的左上角顶点坐标设为(X₁,Y₁)，右上角顶点坐标设为(X₂,Y₂)，左下角顶点坐标设为(X₃,Y₃)，右下角顶点坐标设为(X₄,Y₄)；将栓母对区域的目标框设为(X′,Y′,W′,H′，

通过公式(9)，求得栓母对区域的目标框为(X',Y',W',H')；将栓母对区域的名称和目标框(X',Y',W',H')保存为TXT文件，然后使用TXT转json的程序转变为json文件或使用TXT转xml的程序转变为xml文件。