[发明专利]一种数据资源的信息目录主题库分类方法

说明书

本发明公开了一种数据资源的信息目录主题库分类方法，涉及大数据管理技术领域。包括以下步骤：1)采集数据资源的信息目录样本作为样本数据；2)对样本数据进行标记，标记所用标签为拟定的主题库名称；3)基于自然语言处理方法将标签进行向量化处理，基于机器学习方法训练分类模型，使用分类模型进行数据资源的信息目录主题库分类，划分主题库；4)调整样本数据内容和标签类别，优化分类模型。本申请结合自然语言处理的方法，将划分主题库转化为文本分类问题，不需要人工去总结标签体系规则，能够批量对主题库进行分类，提高了资源的有效利用率。同时结合本问题的特点对文本特征做了改造，相比改造之前分类的准确性得到显著提升。

技术领域

本发明涉及大数据管理技术领域，具体涉及一种数据资源的信息目录主题库分类方法。

背景技术

数据资源的信息目录是信息组织的一种方式，可以展示所有的数据资源但又可以不对外暴露数据。政府和企业的数据资源的信息目录也是如此。对于政府数据资源的信息目录来说，根据目录、信息组织、信息资源、元数据等相关概念，可以从技术角度定义政府数据资源的信息目录体系为：以元数据为核心，以政务分类表和主题词表为控制词表，对政府数据资源的信息目录进行网状组织，满足从分类、主题、应用等多个角度对政府数据资源进行管理、识别、定位、发现、评估与选择。

传统上划分主题库方法一种是通过业务人员创建资源时根据自身的理解划分主题，人工判定耗时耗力，且不能批量，另一种是创建规则，但对于拥有庞大数据量的机构或企业规则会覆盖不全面。

发明内容

针对现有技术存在的上述问题，本发明所要解决的技术问题在于提供一种数据资源的信息目录主题库分类方法。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种数据资源的信息目录主题库分类方法，包括以下步骤：

1)采集数据资源的信息目录样本作为样本数据；

2)对样本数据进行标记，标记所用标签为拟定的主题库名称；

3)基于自然语言处理方法将标签进行向量化处理，基于机器学习方法训练分类模型，使用分类模型进行数据资源的信息目录主题库分类，划分主题库；

4)调整样本数据内容和标签类别，优化分类模型。

进一步的，步骤1)中，数据资源的信息目录的基本结构包括接入表的表名、数据项字段名称、字段含义、说明描述。

进一步的，步骤2)中，使用one-hot方法标签向量化，使用smote算法对训练样本数据做合成样本处理，使得每个标签标记的样本数据量一致，使用TFIDF方法进行特征抽取并舍弃噪音数据，然后结合本问题变型划分不同的特征矩阵，进行特征计算，再使用lightGBM算法训练分类模型。

进一步的，步骤3)中，使用分类模型的predict_proba函数得到数据资源的信息目录划分到每个标签的概率，设定概率阈值，如果大于阈值就将数据资源的信息划分到该标签所拟定的主题库。

进一步的，步骤4)中，当接入新的数据资源时，可直接依据当前分类模型进行数据资源的信息主题库分类，划分主题库。

进一步的，骤4)中，当接入新的数据资源时，可直接依据当前分类模型的每个标签划分的概率即当前每个主题库划分的概率，划分主题库。

进一步的，步骤4)中，当接入新的数据资源时，划分主题库与期望不符时，通过人工介入，纠错划分的结果；纠错之后返回步骤2)，重新训练分类模型。

进一步的，步骤4)中，随着样本数据内容的调整，主题库有新增或删减时，需对标记所用标签进行相应的新增或删减，然后返回步骤2)，重新训练分类模型。

进一步的，同一数据资源可属于多个主题库。