[发明专利]一种基于词汇关键度的网络论坛正文提取方法、装置有效
| 申请号： | 201710601539.6 | 申请日： | 2017-07-21 |
| 公开（公告）号： | CN107403002B | 公开（公告）日： | 2020-01-31 |
| 发明（设计）人： | 王红;刘锐 | 申请（专利权）人： | 山东师范大学 |
| 主分类号： | G06F16/957 | 分类号： | G06F16/957 |
| 代理公司： | 37221 济南圣达知识产权代理有限公司 | 代理人： | 张勇 |
| 地址： | 250014 *** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 词汇 关键 网络 论坛 正文 提取 方法 装置 | ||
1.一种基于词汇关键度的网络论坛正文提取方法，其特征在于，包括：抽取数据集中部分主题帖页面样本，去除非正文部分，对剩余内容进行分词，计算所有词汇的关键度，定位关键度最高的部分词汇所在位置，引导提取数据集中剩余主题帖页面的正文，若正文内容正确则输出正文，若不正确，则从抽取数据集中部分主题帖页面样本开始重新处理；
所述去除非正文部分包括：
去除主题帖页面中显著的非正文内容；根据停用词库排除主题帖页面中无关内容；根据相似规则去除主题帖页面中不应被包含在正文中的内容。
2.根据权利要求1所述的方法，其特征在于，去除主题帖页面中显著的非正文内容包括：去除主题帖页面源码中的标签及其内容，所述标签至少包括：<head>、<script>和<a>。
3.根据权利要求1所述的方法，其特征在于，根据停用词库排除主题帖页面中无关内容包括：根据停用词库，将出现停用词的整行文本去除；或者根据停用词库与待测文本比对以决定是否保留该待测文本。
4.根据权利要求1所述的方法，其特征在于，根据相似规则去除主题帖页面中不应被包含在正文中的内容包括：
比对两段待测文本的若干起始字符，判断是否保留这两段文本；或者根据相似规则去除由程序生成的不应包含在正文中的内容。
5.根据权利要求1所述的方法，其特征在于，采用TF-IDF方法计算所有词汇的关键度。
6.根据权利要求1所述的方法，其特征在于，所述定位关键度最高的部分词汇所在位置，引导提取数据集中剩余主题帖页面的正文包括：
在主题帖页面内对关键度最高的词汇打分，选出正文出现概率最高的位置；
在不同页面中，对所述正文出现概率最高的位置再次打分，以确定正文位置；
根据所确定的正文位置，提取数据集中剩余主题帖页面的正文。
7.根据权利要求6所述的方法，其特征在于，根据所确定的正文位置，提取数据集中剩余主题帖页面的正文包括：
先根据所确定的正文位置构造解析规则，再根据所述解析规则对数据集中剩余主题帖页面进行正文提取。
8.一种计算机可读存储介质，其中存储有多条指令，其特征在于：所述指令适于由处理器加载并执行以下处理：
抽取数据集中部分主题帖页面样本，去除显著的非正文部分，对剩余内容进行分词，计算所有词汇的关键度，定位关键度最高的部分词汇所在位置，引导提取数据集中剩余主题帖页面的正文，若正文内容正确则输出正文，若不正确，则从抽取数据集中部分主题帖页面样本开始重新处理；
所述去除非正文部分包括：
去除主题帖页面中显著的非正文内容；根据停用词库排除主题帖页面中无关内容；根据相似规则去除主题帖页面中不应被包含在正文中的内容。
9.一种基于词汇关键度的网络论坛正文提取装置，其特征在于：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下处理：
抽取数据集中部分主题帖页面样本，去除显著的非正文部分，对剩余内容进行分词，计算所有词汇的关键度，定位关键度最高的部分词汇所在位置，引导提取数据集中剩余主题帖页面的正文，若正文内容正确则输出正文，若不正确，则从抽取数据集中部分主题帖页面样本开始重新处理；
所述去除非正文部分包括：
去除主题帖页面中显著的非正文内容；根据停用词库排除主题帖页面中无关内容；根据相似规则去除主题帖页面中不应被包含在正文中的内容。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东师范大学，未经山东师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710601539.6/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种基于人工智能设计的计算机管理装置
- 下一篇：一种分布式副本文件仲裁方法
