[发明专利]新闻素材的采集方法及装置、存储介质、电子装置

权利要求书

1.一种新闻素材的采集方法，其特征在于，包括：

采用限制来源的方式从指定数据源采集目标主题的第一新闻源数据；

提取所述第一新闻源数据中的第一关键词集合，并基于所述第一关键词集合采用非限制来源的方式从搜索引擎采集第二新闻源数据；

提取所述第二新闻源数据中的第二关键词集合；

根据所述第一关键词集合和所述第二关键词集合生成所述目标主题的新闻素材；

其中，根据所述第一关键词集合和所述第二关键词集合生成所述目标主题的新闻素材包括：对比所述第一关键词集合和所述第二关键词集合，提取所述第一关键词集合和所述第二关键词集合在第一采集周期的第一共有关键词集合；判断所述第一共有关键词的数量是否小于预设阈值；若所述第一共有关键词的数量小于预设阈值，将所述第一关键词集合和所述第二关键词集合输出为所述目标主题的新闻素材；若所述第一共有关键词的数量大于或等于预设阈值，以所述第二关键词集合为起始关键字继续迭代提取关键字集合，直到迭代后的第n采集周期的第n共有关键词集合的数量小于预设阈值，其中，n为大于0的整数。

2.根据权利要求1所述的方法，其特征在于，在第二采集周期，以所述第二关键词集合为起始关键字继续迭代提取关键字集合包括：

以所述第二关键词集合为搜索关键字采用限制来源的方式从所述指定数据源采集第三新闻源数据；

提取所述第三新闻源数据中的第三关键词集合，并基于所述第三关键词集合采用非限制来源的方式从所述搜索引擎采集第四新闻源数据；

提取所述第四新闻源数据中的第四关键词集合；

对比所述第三关键词集合和所述第四关键词集合，提取所述第三关键词集合和所述第四关键词集合在第二采集周期的第二共有关键词集合。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述新闻源数据进行分词处理，得到词序列；

配置所述词序列的第一标签信息，生成新闻数据集，其中，所述新闻数据集包括词序列和对应的第一标签信息，其中，所述新闻源数据包括所述第一新闻源数据和所述第二新闻源数据；采用目标命名实体识别NER模型识别所述新闻数据集，并输出所述新闻数据集的实体信息，其中，所述实体信息包括有效字符序列；

从所述新闻素材中选择与所述实体信息匹配的新闻特征素材。

4.根据权利要求3所述的方法，其特征在于，在采用目标NER模型识别所述新闻数据集之前，所述方法还包括：

将所述新闻数据集划分为训练集，验证集，以及测试集；

采用所述训练集，所述验证集，以及所述测试集迭代训练初始NER模型，直到最新的目标NER模型满足预设条件。

5.根据权利要求4所述的方法，其特征在于，采用所述训练集，所述验证集，以及所述测试集迭代训练初始NER模型，包括：

将所述训练集，所述验证集，以及所述测试集分割成第一字符序列；

将所述第一字符序列作为输入数据，提取所述第一字符序列的特征信息，并基于所述特征信息生成特征向量集合；

采用双向长期短期记忆BiLSTM网络提取所述特征向量集合的隐状态序列，其中，所述隐状态序列包括字与字之间的关系特征信息；

根据所述隐状态序列对所述第一字符序列中的字符进行实体标签检测，得到第二标签信息，并根据所述第一标签信息和所述第二标签信息采用维特比算法生成第三标签信息，得到第二字符序列，其中，所述第二字符序列包括词序列和对应的第三标签信息；

将所述第二字符序列作为输入数据，迭代训练所述初始NER模型，直到当前迭代周期的NER模型满足预设条件。

6.根据权利要求5所述的方法，其特征在于，采用BiLSTM网络提取所述特征向量集合的隐状态序列包括：

根据所述特征向量集合提取到字的特征信息，将各个字对应的特征向量输入到BiLSTM网络，其中，所述BiLSTM网络包括一个正向LSTM和一个反向LSTM；

正向LSTM根据输入的特征向量输出得到正向隐状态序列，反向LSTM根据输入的特征向量输出得到反向隐状态序列；

将所述正向隐状态序列和所述反向隐状态序列进行拼接得到完整的所述隐状态序列。