[发明专利]一种基于改进TextRank算法的钢材料专利文本中工艺信息抽取方法及其系统

说明书

本发明公开了一种钢材料领域的基于改进TextRank算法的钢材料专利中工艺信息抽取方法和系统，对输入的工艺相关文本进行预处理；计算集合中每个词语的TF*IDF值；将集合中的词语通过word2vec工具转化为向量表示形式；增加词位置信息以及合并语义相似词，得到最终文本关键词集合；对文本中每个句子构建其矩阵表示；构建改进TextRank算法的图模型并进行迭代直至收敛，改进之处在于将句子在文本中所处位置和第四步得到的主题词信息融入到图模型顶点计算中，图模型中边关系权重则是通过计算矩阵的余弦相似度；取上一步模型最终得分topK的句子按排序原则进行排列并去除其中的冗余信息，使最终保留的工艺信息具有连贯性。本发明方法简便易操作，效果好。

技术领域

本发明属于钢材料知识图谱领域，具体涉及一种基于改进TextRank算法的钢材料专利文本中工艺信息抽取方法。

背景技术

钢材料加工工艺的不断改进，导致钢材料领域工艺知识具有形式多样、内容复杂的特点。对专利文本中的钢材料加工工艺信息进行抽取，是最终实现领域工艺知识整合的先决条件。

而文本信息抽取方法存在以下不足：

利用神经网络算法进行文本信息抽取需要大型语料库，同时存在训练时间长，工艺信息抽取慢的问题，不适合进行实际应用。

利用基于统计的方法进行文本信息抽取往往能够达到较快的速度，其中最经典的算法为TextRank算法。但其在对文本信息进行只考虑了句子节点间的相似性，在构建图模型中结点间边关系时直接比较句子间包含共同词的数量，以此来判断两句子关联程度，而忽视了文本的篇章结构以及文本中句子的位置及语义信息。

同时钢材料专利文本其其他领域文本不同，工艺描述信息在文本中较为集中且专业名词较多，不能直接利用现有文本信息抽取方法进行工艺抽取。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于改进TextRank算法的钢材料专利文本中工艺信息抽取方法，针对经典TextRank算法的不足，同时针对钢材料领域的相关工艺专利文本的特殊性，本发明方法针对钢材料工艺专利文本的特殊性提取主题词，然后融合文本主题词、句间位置关系及语义关系计算TextRank算法中图模型的顶点得分以及顶点间边关系，并结合句子和主题词处理多余信息，最终选取topK得分的句子作为此钢材料工艺专利文本的关键信息作为抽取结果。

为达到上述发明创造目的，本发明采用如下技术方案：

一种基于改进TextRank算法的钢材料专利文本中工艺信息抽取方法，包括以下步骤：

步骤A：对钢材料工艺专利文献文本进行预处理，主要包括分词、去停用词以及词性标注，得到初步筛选出的主题词集合w＝{w₁,w₂,…w_n}；

步骤B：计算主题词集合中每个词语的TF*IDF值；首先计算词频TF值,统计w集合中相关词语在文本中出现的次数；再计算逆文档频率IDF值；其中，TF表示主题词集合中每个词语出现的频率值，其中，IDF表示逆文本频率值，由总文本数量除以包含该词语的文本数量，再将得到的商取以10为底的对数得到；

步骤C：将文本预处理后的主题词集合w通过word2vec工具转化为向量表示形式；选用其中的CBOW模型，并用hierarchical softmax方法完成转化，采用n维的词向量表示，得到新的工艺文本主题词集合w_c；

步骤D：增加词位置信息以及合并语义相似词，目的是为了得到最终关键词的排序信息；