[发明专利]新闻自动生成方法、装置、设备及存储介质

权利要求书

1.一种新闻自动生成方法，其特征在于，所述方法包括：

网址抓取步骤：利用定时抓取任务获取原始新闻网址集，对所述原始新闻网址集中各网址的页面进行网址抓取，将抓取到的网址作为待处理网址，并汇总所有待处理网址作为所述原始新闻网址集，重复所述网址抓取步骤，直到所述原始新闻网址集中所有网址抓取完毕，得到标准新闻网址集；

新闻爬取顺序图步骤：对所述标准新闻网址集进行过滤得到待抓取新闻网址集，根据所述利用定时抓取任务获取的原始新闻网址集及所述待抓取新闻网址集构建新闻爬取顺序图；

新闻生成步骤：利用所述新闻爬取顺序图进行数据采集，并对采集到的数据进行新闻生成及排序，得到排列新闻。

2.如权利要求1所述的新闻自动生成方法，其特征在于，所述利用定时抓取任务获取原始新闻网址集，包括：

利用预设的抓取内容规则及预设的抓取时间规则设置所述定时抓取任务，并基于所述定时抓取任务从目标网址集中获取新闻网址集；

利用预设的优先级排列顺序对所述新闻网址集进行优先级排序，得到所述原始新闻网址集。

3.如权利要求2所述的新闻自动生成方法，其特征在于，所述对所述标准新闻网址集进行过滤得到待抓取新闻网址集，包括：

利用预设的主题提取算法计算所述抓取内容规则中关键词与所述标准新闻网址集中新闻网页的页面相似度；

将所有页面相似度大于等于预设的相似度阈值的新闻网址汇总，得到所述待抓取新闻网址集。

4.如权利要求3所述的新闻自动生成方法，其特征在于，所述利用预设的主题提取算法计算所述抓取内容规则中关键词与所述标准新闻网址集中新闻网页的页面相似度，包括：

对所述新闻网页进行分块处理，得到文本内容块及相关链接块；

依次计算所述关键词与所述文本内容块的相似度、以及所述关键词与所述相关链接块的相似度，分别得到文本相似度及链接相似度，基于所述文本相似度及所述链接相似度对所述新闻页面进行页面相似度计算，得到所述页面相似度。

5.如权利要求4所述的新闻自动生成方法，其特征在于，所述依次计算所述关键词与所述文本内容块的相似度、以及所述关键词与所述相关链接块的相似度，分别得到文本相似度及链接相似度，包括：

利用下述公式执行相似度计算：

其中，R_P为页面相似度，T为所述关键词，n表示所述新闻页面中文本内容块的个数，m表示所述新闻页面中相关链接块的个数，表示第i个包含所述关键词的文本内容块的文本，表示第j个包含所述关键词的相关链接块的文本，V_T为所述关键词的文本，为所述文本相似度，为所述链接相似度。

6.如权利要求1所述的新闻自动生成方法，其特征在于，所述根据所述利用定时抓取任务获取的原始新闻网址集及所述待抓取新闻网址集构建新闻爬取顺序图，包括：

将所述原始新闻网址集中原始网址对应的新闻网页作为父节点，将所述待抓取新闻网址集中标准网址对应的新闻网页作为子节点；

构建所述父节点向所述子节点的有向边，汇总所述父节点、所述子节点及所述有向边得到所述新闻爬取顺序图。

7.如权利要求1或2所述的新闻自动生成方法，其特征在于，所述对所述原始新闻网址集中各网址的页面进行网址抓取，将抓取到的网址作为待处理网址，包括：

将所述原始新闻网址集中的网址保存至待处理网址队列；

依次解析所述待处理网址队列中网址的域名地址，得到对应域名地址的网页；

抓取所述网页中的新闻网址，将抓取到的所有新闻网址作为所述待处理网址并保存至所述待处理网址队列。