[发明专利]一种火力发电领域语料数据的实体分类方法及装置

说明书

本发明涉及一种火力发电领域语料数据的实体分类方法及装置，属于火力发电技术领域，方法包括，对包含火力发电领域语料数据的待分类文本集合S进行初次分类，得到已成功分类文本集合S1和未成功分类文本集合S2；提取未成功分类文本集合S2中的实体新词，建立实体新词列表E；将实体新词列表中的实体新词逐一与已成功分类文本集合S1进行实体对齐，确认实体新词的实体类别。本发明利用火力发电领域文本数据，综合采用无监督专业词汇发现算法和文本分类算法，实现对发电语料数据的实体分类，其所构建的火力发电专业词库也可用于该领域内文本数据挖掘的语料支撑。

技术领域

本发明涉及火力发电技术领域，尤其是一种火力发电领域语料数据的实体分类方法及装置。

背景技术

作为典型的非/半结构化数据，对于文本数据的处理一直是数据挖掘的热点之一。

对火力发电领域的文本数据分析挖掘对于火力发电企业定期的缺陷盘点，以及企业长远的信息化建设的企业知识图谱的构建，辅助企业从全局层面了解生产设备的运行和健康状况、进行多维数据融合及深层知识的挖掘具有重要意义。

目前，对于火力发电领域的文本数据分析挖掘尚处于起步阶段。主要原因在于，火力发电领域所积累的文档数据尚未建立完备的语料库，在语料库不充分的情况下，许多统计机器学习的方法难奏效。利用自然语言处理的方法很难从文本中挖掘出具有显著性意义的结果。

发电企业对日常操作记录文档主要有值班日志和缺陷记录。在对发电语料数据进行实体分类时，由于在日常记录中设备的名称可能由于个人用语习惯不同而有表述上的差异，使得利用标准的设备名称进行分类时无法将相应的记录进行正确地归类。

发明内容

鉴于上述的分析，本发明旨在提供一种火力发电领域语料数据的实体分类方法及装置，将基于统计的新词识别方法和分类算法相结合，实现对发电文本语料数据的实体分类。

本发明的目的主要是通过以下技术方案实现的：

一种火力发电领域语料数据的实体分类方法，包括如下步骤：

对包含火力发电领域语料数据的待分类文本集合S进行初次分类，得到已成功分类文本集合S1和未成功分类文本集合S2；

通过建立的备选新词库，提取所述未成功分类文本集合S2中的实体新词，建立实体新词列表E；

将实体新词列表E中的实体新词逐一与所述已成功分类文本集合S1 进行实体对齐，得到实体对齐结果；

根据得到的所述实体对齐结果，确定该实体新词的实体类别。

进一步地，所述备选新词库的构建方法，包括：

建立领域词库候选词集；

对所述领域词库候选词集中的候选词语进行量化；

对量化后的候选词语进行阈值筛选后构成领域词库；

剔除所述领域词库中的通用词语后构成备选新词库。

进一步地，所述建立领域词库候选词集，包括：

对火力发电领域语料数据进行预处理；

将预处理后的语料数据进行子串切分得到子串；

对得到的所述子串进行词语切分，构成领域词库的候选词集。

进一步地，所述候选词语的量化包括词频、内部凝固度、自由度和位置成词概率的量化。

进一步地，所述阈值筛选中设置的阈值包括词频阈值、凝固度阈值和左、右连接词信息熵阈值以及位置成词概率阈值。

进一步地，所述初次分类，包括，