[发明专利]领域短语词典构建方法

说明书

本申请公开了一种领域短语词典构建方法，包括：挖掘短语；构建领域词库；构建词典模型。挖掘短语包括：将原始数据进行预处理和分词，随后对分词结果采用相邻词频短语挖掘方法，提取出句子中所有可能出现的短语集合。构建领域词库，包括：使用TF‑IDF算法训练短语集合得到带权重的词，再通过权重阈值将词划分为领域相关词和无关词。本申请的领域短语词典构建方法，运用统计词频和词语权重量化短语与领域相关性程度，将深度学习网络与构建领域词典方向相结合，显著提升了领域词典的健壮性，在消费品领域词典构建上有良好的表现，提升了消费品缺陷领域词典的构建效果，能够达到较高的正确率、召回率和F1值。

技术领域

本申请涉及文本处理技术领域，具体涉及一种领域短语词典构建方法。

背景技术

随着现代经济的发展，网购越来越普及，越来越多的消费产品出现在人们生活中。不同种类消费品在提高人们生活品质的同时，也会产生各种故障。网购网站或APP每天都会收到大量的消费品缺陷线索报告信息，这些缺陷线索信息大多数由短文本构成。准确地从线索文本中挖掘出产品的故障描述信息有助于把控消费品缺陷领域方向动态，而构建消费品缺陷领域词典是实现这一目标的基础工作。领域词典的最大特点是通过精炼而简短的词表达出专业领域的关键信息，其内容本质是文本的“信息抽取”，即从大量无序文本中抽取出领域相关词，并根据不同主题进行归类。

组合词在文本主题表达能力上比普通单个词要更为准确与丰富。例如：“指纹解锁失效”相比“指纹”、“解锁”、“失效”三个词更为简洁准确地表达出产品的故障信息；再例如“共享单车”如果被切分为“共享”与“单车”两个词就完全与原词组意思相悖。这种有着强内在联系的组合词称为“领域关联词”。

到目前为止，主流的业界构建领域词典方法采用的是基于规则的专家系统，由专家手工制定确定性的流程规则，采用文本匹配的方式从文中提取领域词。它的最大弱点在于系统难以维护与扩展，语言是不断发展变化的，人工维护和适配规则工作量巨大。同时，多个规则之间容易产生冲突，不同领域需要各种专家消除规则冲突。

发明内容

本申请的目的是提供一种领域短语词典构建方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种领域短语词典构建方法，包括：

挖掘短语；

构建领域词库；

构建词典模型。

进一步地，所述挖掘短语，包括：

将原始数据进行预处理和分词，随后对分词结果采用相邻词频短语挖掘方法，提取出句子中所有可能出现的短语集合。

进一步地，所述挖掘短语，包括：

在文档M中，句子序列T＝{t₀，t₁，t₂，...，t_n}，通过t₀与t₁，t₁、t₂与t₃组合的方法生成短语集合在遍历文档M生成短语集合过程中，对生成的短语p进行计数，计p₁出现次数为C₁，p_n出现次数计为C_pn；同时，t_n在整个数据集中出现次数记C_tn；设计以下公式计算短语的重要程度：

δ，μ由人工定义参数，为词和短语设定偏移权重；通过短语重要程度E来判定短语p是否为高频短语，当E大于δ时(E＞δ)，将其加入候选词库