[发明专利]一种数据资源的信息目录主题库分类方法

权利要求书

1.一种数据资源的信息目录主题库分类方法，其特征在于，包括以下步骤：

1)采集数据资源的信息目录样本作为样本数据；

2)对样本数据进行标记，标记所用标签为拟定的主题库名称；

3)基于自然语言处理方法将标签进行向量化处理，基于机器学习方法训练分类模型，使用分类模型进行数据资源的信息主题库分类，划分主题库；

4)调整样本数据内容和标签类别，优化分类模型。

2.根据权利要求1所述的数据资源的信息目录主题库分类方法，其特征在于，步骤1)中，所述数据资源的信息目录的基本结构包括接入表的数据来源、表名、数据项字段名称、字段含义、说明描述。

3.根据权利要求1所述的数据资源的信息目录主题库分类方法，其特征在于，步骤2)中，使用one-hot方法标签向量化，使用smote算法对训练样本数据做合成样本处理，使得每个标签标记的样本数据量一致，使用TFIDF方法进行特征抽取并舍弃噪音数据，然后结合本问题变型划分不同的特征矩阵，进行特征计算，再使用lightGBM算法训练分类模型。

4.根据权利要求1所述的数据资源的信息目录主题库分类方法，其特征在于，步骤3)中，使用分类模型的predict_proba函数得到数据资源的信息目录划分到每个标签的概率，设定概率阈值，如果大于阈值就将数据资源的信息目录划分到该标签所拟定的主题库。

5.根据权利要求1所述的数据资源的信息目录主题库分类方法，其特征在于，步骤4)中，当接入新的数据资源时，可直接依据当前分类模型进行数据资源的信息目录主题库分类，划分主题库。

6.根据权利要求5所述的数据资源的信息目录主题库分类方法，其特征在于，步骤4)中，当接入新的数据资源时，可直接依据当前分类模型的每个标签划分的概率即当前每个主题库划分的概率，划分主题库。

7.根据权利要求5所述的数据资源的信息目录主题库分类方法，其特征在于，步骤4)中，当接入新的数据资源时，划分主题库与期望不符时，通过人工介入，纠错划分的结果；纠错之后返回步骤2)，重新训练分类模型。

8.根据权利要求1所述的数据资源的信息目录主题库分类方法，其特征在于，步骤4)中，随着样本数据内容的调整，主题库有新增或删减时，需对标记所用标签进行相应的新增或删减，然后返回步骤2)，重新训练分类模型。

9.根据权利要求1所述的数据资源的信息目录主题库分类方法，其特征在于，同一数据资源可属于多个主题库。