[发明专利]海量网络数据处理系统及其的构建方法、装置在审
| 申请号： | 202210700372.X | 申请日： | 2022-06-20 |
| 公开（公告）号： | CN115292474A | 公开（公告）日： | 2022-11-04 |
| 发明（设计）人： | 孙羽菲;张玉志;李东闻;钟震宇;王昊天;申峻宇 | 申请（专利权）人： | 南开大学 |
| 主分类号： | G06F16/335 | 分类号： | G06F16/335;G06F16/383;G06F40/103;G06F40/284 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 罗岚 |
| 地址： | 300071*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种海量网络数据处理系统及其的构建方法、装置。数据下载模块基于配置后的下载方式及下载任务的调度进行数据处理；文本提取模块以网络文本的一行为单位进行预设语言类型的文本提取；文本过滤模块基于过滤策略对数据进行过滤，所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成；去重模块基于去重策略对数据进行去重，所述去重策略采用先局部去重，再整体二次去重的方式；数据筛选模块基于筛选策略进行筛选，所述筛选策略根据文本困惑度得到；文本格式处理模块对文本数据格式进行配置。实现了利用海量网络数据进行高质量文本数据系统的构建。 | ||
| 搜索关键词： | 海量 网络 数据处理系统 及其 构建 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南开大学，未经南开大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210700372.X/，转载请声明来源钻瓜专利网。
