[发明专利]一种基于大数据的权重自适应方法及大数据系统

权利要求书

1.一种基于大数据的权重自适应方法，其特征在于，所述方法包括：

获取动态重要样本库，基于所述动态重要样本库确定待识别文本对应的关键词集合及所述关键词集合中每个词语的初始权重；

分别提取所述关键词集合中的名词和动词，得到名词词组和动词词组；

将所述名词词组中各个词语依次与所述动词词组中每个词语组合，得到多个词语对；

根据所述动态重要样本库及所述初始权重，重构具有突变关系的词语对的新权重，基于所述新权重识别所述待识别文本的重要性。

2.如权利要求1所述的方法，其特征在于，所述根据所述动态重要样本库及所述初始权重，重构具有突变关系的词语对的新权重，包括：

基于所述动态重要样本库，计算每个词语对的两个词语之间的关联值；

基于所述关联值判断每个词语对是否具有突变关系；

基于所述关联值及初始权重，重构具有突变关系的词语对的新权重。

3.如权利要求1所述的方法，其特征在于，所述分别提取所述关键词集合中的名词和动词，得到名词词组和动词词组，包括：

将所述关键词集合输入词性识别模型的词向量转换网络执行词向量转换处理，得到所述关键词集合中每个词语的词向量；

将所述待识别文本输入所述词性识别模型的文本向量提取网络执行文本向量提取处理，得到所述待识别文本对应的文本向量；

拼接所述词向量及文本向量，得到所述关键词集合中每个词语的特征向量；

将所述特征向量输入所述词性识别模型的词性分类网络，得到所述关键词集合中每个词语的词性分类结果；

基于所述词性分类结果提取所述关键词集合中的名词和动词，得到名词词组和动词词组。

4.如权利要求1所述的方法，其特征在于，所述基于所述动态重要样本库确定待识别文本对应的关键词集合及所述关键词集合中每个词语的初始权重，包括：

对所述待识别文本执行分词处理，得到词语集合；

将所述词语集合中每个词语与所述动态重要样本库进行匹配，得到关键词集合及所述关键词集合中每个词语的初始权重。

5.如权利要求4所述的方法，其特征在于，所述将所述词语集合中每个词语与所述动态重要样本库进行匹配，得到关键词集合及所述关键词集合中每个词语的初始权重，包括：

计算所述词语集合中每个词语在所述待识别文本中的词频；

计算所述词语集合中每个词语与所述动态重要样本库的相关度值；

基于所述词频及所述相关度值计算所述词语集合中每个词语的重要度值；

确定所述待识别文本中待提取的关键词数量；

按照重要度值从高到底的顺序，从所述词语集合中筛选所述待提取的关键词数量的词语放入所述待识别文本对应的关键词集合中；

将所述关键词集合中每个词语的重要度值作为其初始权重。

6.如权利要求5所述的方法，其特征在于，所述确定所述待识别文本中待提取的关键词数量，包括：

计算所述待识别文本的语义丰富度；

获取预先确定的语义丰富度与关键词数量之间的映射关系，基于所述映射关系及所述语义丰富度确定所述待识别文本中待提取的关键词数量。

7.如权利要求6所述的方法，其特征在于，所述计算所述待识别文本的语义丰富度，包括：

剔除所述词语集合中预设类型的词语，得到所述待识别文本对应的重要词语集合；

根据所述重要词语集合中词语的数量及长度计算所述待识别文本的语义丰富度。