[发明专利]一种从新闻页面中自动提取机构实体名词的方法

说明书

本发明提供一种从新闻页面中自动提取机构实体名词的方法，包括：对新闻页面中文本内容进行提取解析；进行去重过滤处理，并对空格、标题、符号进行删除，获得待输入文本内容；将待输入文本内容输入标注模型中进行序列处理，获得文本内容中各单词预测标签；将各单词预测标签与现有实体名词数据库进行对比，确认各单词预测标签对应的实体名词类别；将新闻页面与实体名词和实体名词对应类别进行对应并入库。本发明能快速对新闻页面中的实体名词进行提取，并将新闻内容与名称、类别进行对应标记形成结构化数据。

技术领域

本发明属于计算机领域，具体涉及一种从新闻页面中自动提取机构实体名词的方法。

背景技术

随着互联网技术的发展，各种大量的新闻咨询出现在日常生活中。互联网新闻资讯的数据处理成为各个行业至关重要的任务。对新闻咨询内容提取实体名字及其关系可以用于摘要或关键词，方便对新闻资讯进行检索和筛选。采用人工方式的数据处理方式需要借助大量的人力资源，而传统机器学习方式在实体名词语提取上精度和效率较为低下，而且缺乏实体名词和新闻咨询之间的关系。

发明内容

本发明提供一种能快速对新闻页面中的实体名词进行提取，并将新闻内容与名称、类别进行对应标记形成结构化数据的从新闻页面中自动提取机构实体名词的方法，包括以下步骤：

(1)对新闻页面中文本内容进行提取解析；采用Python3的request库和lxml库对新闻页面的HTML的DOM结构进行文本内容提取或对页面常用标签进行提取，再通过etree.HTML和csssector选择器进行解析。

(2)将提取的文本内容采用Python3的BloomFilter进行去重过滤处理，并对空格、标题、符号进行删除，获得待输入文本内容；

(3)将待输入文本内容输入标注模型中进行序列处理，获得文本内容中各单词预测标签；

(4)将各单词预测标签与现有实体名词数据库进行对比，确认各单词预测标签对应的实体名词类别；

(5)将新闻页面与实体名词和实体名词对应类别进行对应并入库。

进一步的，标注模型采用BILSTM模型结构，其训练方式如下：

(1)将待训练数据进行处理解析其中文本信息和实体信息，将每个句子保存为单词序列和标注序列；

(2)将每个句子的单词序列中个单词在词库中进行检索，对未检索到的单词赋值为1，检索到的单词赋值为词库中对应值加上检索到的次数，将每个句子转换为数值序列；

(3)将每个句子数值序列进行归一化处理；

(4)将归一化后的每个句子数值序列输入BILSTM模型，通过循环神经网络隐藏层向前推算和向后推算输出每个句子中个单词的预测标签；

(5)将各句子的预测标签与标注序列对比检测训练结果；

(6)重复步骤(1)至步骤(5)，在对比检测训练结果满足需求时完成标注模型训练。

综上所述，由于采用了上述技术方案，本发明的有益效果是：能快速对新闻页面中的实体名词进行提取，并将新闻内容与名称、类别进行对应标记形成结构化数据；将传统的BILSTM-CRF模型训练方式简化为BILSTM模型训练，去掉了CRF的约束条件，有效地提高了对大量文字数据进行实体名词提取的效率。

附图说明

图1为本发明流程图；

图2为本发明BILSTM模型训练流程图；

图3为本发明BILSTM模型内部运算原理图。

具体实施方式

如图1、图2、图3所示，一种从新闻页面中自动提取机构实体名词的方法：