[发明专利]一种半监督学习的大数据关键词词典构建方法

说明书

本发明适用于城市治理系统智能化技术领域，提供一种半监督学习的大数据关键词词典构建方法，包括：构建种子词词典；获取候选关键词集合；基于候选关键词集合，搜索并提取候选关键词片段并从中筛选出关键词，得到关键词词典；使用关键词词典，训练关键词提取模型，再使用关键词提取模型从文本语料中提取关键词片段，并从中筛选出关键词，添加到关键词词典中得到扩充的关键词词典。本发明提供了一种半监督学习的大数据关键词词典构建方法，通过计算机技术和少量人工开销，在大数据情景下，从大规模语料中提取关键词，构建关键词词典，为下游相关的任务提供支撑和保障。

技术领域

本发明属于城市治理系统智能化技术领域，尤其涉及一种半监督学习的大数据关键词词典构建方法。

背景技术

随着城市治理数字化的应用和普及，很多城市治理系统积累了大规模的历史数据。使用大数据技术分析和挖掘大规模数据的价值，是城市治理系统智能化的重要手段之一。如电话热线中，使用监督学习的算法模型从来话文本内容中自动提取事件地点，然后智能化的推荐处理单位，提高接线员的工作效率。很多已有的监督性算法或模型中，关键词词典是重要的组成部分，关键词词典的好坏直接影响到算法模型的表现。

如在电话热线的案件中，同一小区可能有多个不同的描述，如虚拟小区：甲乙城市花园，可能有甲乙城市花园、甲乙城花、城花等多个描述。如果关键词词典中只包含标准的“甲乙城市花园”，使用了关键词词典的算法模型很难识别出“甲乙城花”、“城花”等小区描述，从而影响算法模型最终的表现。因此希望能够提取尽可能多的小区描述，构建小区关键词词典，方便其他任务的顺利展开，如通过地址集合自动提取POI。

现有的关键词词典构建方法主要分3类。

第一类是基于人工的关键词词典构建方法。这类方法通过人工筛选出关键词，然后将筛选出的关键词集合成关键词词典。这类方法的优点是构建的关键词词典质量高，但人工开销大，不适合在大数据情景中的任务应用。

比如在电话热线的来电案件中，使用人工将来话内容中描述小区的文本筛选出来，构建小区关键词词典。但当来电案件有上千万条时，使用人工筛选的开销非常大，实际业务中人工开销变得不可承受。

第二类是基于规则的关键词词典构建方法。这类方法通过制定提取规则，基于规则从文本中筛选出关键词，然后将筛选的关键词构建成关键词词典。这类方法的优点是人工开销少，效率高，但由于规则固定，对于复杂文本语料中的关键词提取效果较差，无法应对大数据情景下关键词词典的构建。

比如在电话热线的来电案件中，使用正则表达式提取出XX小区，或者根据规律，提取文本中位于词“住在”后的K个词。但当同一个小区有多个不同描述，不同的来电市民有不同的案件描述习惯，且案件数量达到千万级时，编写规则就会变得繁琐，且基于编写规则的方法所提取的小区关键词覆盖率也较低。因此基于规则的关键词词典构建方法也不适合大数据情景中的任务应用。

第三类是基于算法模型的关键词词典构建方法。这类方法包含2种类型，一种是不需要训练的算法模型，如TF-IDF,TextRank等算法。这种算法的优点是人工开销少，但构建的关键词词典质量不高。另一种是先使用训练数据训练算法模型，然后使用训练后的算法模型从文本语料中提取关键词，支持向量机SVM模型等，这类方法相较于基于规则的方法和基于不需要训练的算法模型的方法，优点是其构建的关键词词典质量较高。然而这种方法需要准备已经构建好的质量高的关键词词典作为训练集，因此此类方法只适合扩充关键词词典，难以解决构建关键词词典的训练数据“冷启动”的问题。

发明内容

鉴于上述问题，本发明的目的在于提供一种半监督学习的大数据关键词词典构建方法，旨在解决现有方法无法在较少的人工开销下，构建高质量的关键词词典的技术问题。

本发明采用如下技术方案：

步骤S1、构建种子词词典；