[发明专利]一种基于Bert模型的专业术语提取方法及装置

权利要求书

1.一种基于Bert模型的专业术语提取方法，其特征在于，所述方法包括：

S1、获取预先训练好的通用Bert模型和专业Bert模型，其中，所述通用Bert模型根据通用训练样本训练得到，所述专业Bert模型根据专业训练样本训练得到；

S2、获取待提取数据；

S3、将所述待提取数据分别输入到所述通用Bert模型以及所述专业Bert模型，得到所述待提取数据的通用attention矩阵以及专业attention矩阵；其中，将所述通用attention矩阵命名为att_matrix，将所述专业attention矩阵命名为pro_att_matrix；

S4、在所述pro_att_matrix中，确定出满足成词条件的最小矩阵，将所述最小矩阵对应的词语加入到专业术语候选集；

S5、在所述att_matrix中确定所述专业术语候选集中的每个词语对应的关系矩阵，将对应的关系矩阵不满足所述成词条件的词语确定为专业术语；

其中，所述S4中的在所述pro_att_matrix中，确定出满足成词条件的最小矩阵，将最小矩阵对应的词语加入到专业术语候选集，包括：

S41、获取i的初始值、k的初始值以及所述pro_att_matrix的行数N，其中，所述i的初始值为1，所述k的初始值为1；

S42、判断i是否大于或等于N，如果i不大于N且不等于N，则转去执行S43；如果i大于或等于N，则转去执行S47；

S43、在所述pro_att_matrix中，确定行号以及列号均为i至i+k的预选矩阵，判断所述预选矩阵是否符合成词条件；

S44、如果所述预选矩阵符合所述成词条件，则将所述预选矩阵确定为最小矩阵，将所述最小矩阵对应的词语加入到专业术语候选集中，且i=i+k+1，k=1，转去执行S42；如果所述预选矩阵不符合所述成词条件，则转去执行S45；

S45、判断k是否等于N-i，如果所述k不等于N-i，则k=k+1，转去执行S43；如果所述k等于N-i，则转去执行S46；

S46、将i=i+1，k=1，转去执行S42；

S47、结束循环操作；

其中，所述成词条件包括第一条件和第二条件；

所述确定出满足成词条件的最小矩阵，包括：

对于所述预选矩阵内的每一行元素，均满足下述第一条件、第二条件时，确定所述预选矩阵为最小矩阵；

所述第一条件，包括：计算所述一行元素的和值，所述和值大于或等于第一阈值；

所述第二条件，包括：计算所述一行元素中除列号为h外其他所有元素的和值，所述和值大于第二阈值，其中，h等于当前行数q。

2.根据权利要求1所述的方法，其特征在于，所述将最小矩阵对应的词语加入到专业术语候选集，包括：

将最小矩阵对应的词语、以及所述最小矩阵的行号以及列号对应的存储到专业术语候选集中。

3.根据权利要求2所述的方法，其特征在于，所述在所述att_matrix中确定所述专业术语候选集中的每个词语对应的关系矩阵，将对应的关系矩阵不满足所述成词条件的词语确定为专业术语，包括：

对于所述专业术语候选集中的每个词语，根据对应的行号以及列号，在所述att_matrix中确定词语对应的关系矩阵，判断所述关系矩阵是否满足所述成词条件，如果所述关系矩阵不满足所述成词条件，则将所述关系矩阵对应的词语确定为专业术语，如果所述关系矩阵满足所述成词条件，则将所述关系矩阵从所述专业术语候选集中删除。